ハルシネーションに対抗するためのRAGを用いたLLMの事実精度の向上: プライベートナレッジベースにおけるドメイン特有のクエリに関するケーススタディ

プライベートナレッジベースに関連するドメイン特有で時間に敏感なクエリのために、Retrieval Augmented Generation（RAG）を利用して大規模言語モデル（LLM）の事実精度を向上させるエンドツーエンドのシステム設計を提案しました。私たちのシステムは、RAGパイプラインをアップストリームデータセット処理とダウンストリーム性能評価と統合しています。LLMのハルシネーションの課題に対処するため、CMUの広範なリソースから派生し、教師モデルで注釈付けされた厳選されたデータセットでモデルを微調整しました。私たちの実験は、ドメイン特有で時間に敏感な問い合わせに対してより正確な回答を生成するシステムの効果を示しています。結果はまた、小規模で偏ったデータセットを使用したLLMの微調整の限界も明らかにしました。この研究は、知識集約型タスクにおけるパフォーマンス向上のために外部データセットでLLMを増強するRAGシステムの潜在能力を強調しています。私たちのコードとモデルはGithubで利用可能です。