大規模言語モデルによる誤情報汚染のリスクについて

私たちは、現代の大規模言語モデル（LLMs）が信頼性のあるように聞こえる誤情報を生成するために悪用される可能性と、それが特にオープンドメイン質問応答（ODQA）システムなどの情報集約型アプリケーションに与える影響を調査します。脅威モデルを確立し、意図的および非意図的な悪用シナリオをシミュレートして、LLMsがどの程度誤情報生成に利用され得るかを評価しました。研究結果は、LLMsが効果的な誤情報生成装置として機能し、ODQAシステムの性能を最大87％悪化させることを示しています。さらに、人間と機械を説得する際の属性に差異があることを明らかにし、誤情報対策における従来の人間中心のアプローチに障害をもたらすことが示されました。LLM生成誤情報による被害を軽減するために、誤情報検出、警戒的プロンプティング、およびリーダーアンサンブルの3つの防御戦略を提案します。これらのアプローチは一定のコストを伴いながらも有望な結果を示しています。最後に、LLMsを自動誤情報生成装置として活用する実用性について論じ、この分野の将来の研究を促進するための関連リソースとコードを提供します。