不確実性推定のための意味的に多様な言語生成 言語モデルにおける

大規模言語モデル（LLM）は、テキスト生成時に幻覚を引き起こすことがあります。これらの幻覚は、LLMを信頼できないものとしてしまい、社会や産業でのさまざまなアプリケーションを妨げます。現在のLLMは、自動回帰的な方法でテキストトークンを予測して追加することによってテキストを生成します。LLMが次に生成すべきトークンの意味的な意味について不確実である場合、幻覚を始める可能性が高いです。したがって、幻覚は予測的不確実性に起因するという提案があります。私たちは、LLMにおける予測的不確実性を定量化するために、意味的に多様な言語生成（SDLG）を紹介します。SDLGは、最初に生成されたテキストに対して、意味的に多様でありながらも可能性のある代替案を生成するようにLLMを誘導します。このアプローチは、初期テキストが幻覚である可能性があるかどうかを検出する、精密な意味論的確率不確実性の測定を提供します。質問応答タスクにおける実験は、SDLGが既存の方法を一貫して上回っており、最も計算効率の良いものであり、LLMにおける不確実性推定の新しい基準を設定することを示しています。