モデルを超えて：LLM 幻覚をパイプラインレベルの基盤問題として考察

この技術ノートは、LLM 幻覚を単なるモデルレベルの失敗ではなく、パイプラインレベルの基盤問題として検討しています。幻覚は単に「モデルが何かを作り出す」ものと理解されるべきではなく、事実として提示され、より広範な AI パイプラインを通過するサポートされていないコンテンツとみなすべきだと主張しています。このノートでは、幻覚を捏造された情報源、サポートされていない主張、誤った帰属、プロヴェナンスエラー、文脈の漂流、古い情報、検索失敗、推論エラー、および検証失敗などの関連する AI エラータイプから区別します。また、異なる AI エラータイプがどのようにして幻覚に変わるのかを理解するための分析表と、そのようなエラーがリリース前にどのように検出できるかを特定するための表を2つ提案します。議論は生成された出力からリリースされた出力に移り、信頼できる AI システムには基盤、検証、プロヴェナンスチェック、品質ゲート、フェイルクローズメカニズム、修正ループ、および人間のレビューが必要であることを強調します。コンテキストに基づく基盤、自己化推論、基盤検出、プログラム可能なガードレール、および情報源に基づく検証などの新興産業プラクティスを基に、このノートは信頼できる AI の未来は単に大規模なモデルだけでなく、基盤があり、管理され、ドメインに配慮した AI アーキテクチャにあると主張しています。