LLMの長期コンテキストの障害に関する洞察：トランスフォーマーが知っているが伝えない時

大規模言語モデル（LLMs）は位置バイアスを示し、長いコンテキストの中間または終わりからの情報を利用するのに苦労します。本研究では、LLMsの長期コンテキスト推論を隠れた表現を調査することで探ります。我々は、LLMsがターゲット情報の位置をエンコードしている一方で、正確な応答を生成する際にこれを活用することにしばしば失敗していることを発見しました。これは、情報の取得と利用との間の断絶を示す「知っているが伝えない」という現象です。さらに、抽出時間と最終的な精度との関係を分析し、トランスフォーマーモデルの基礎メカニズムについての洞察を提供します。