Turk-LettuceDetect: トルコ語RAGアプリケーション向けの幻覚検出モデル

大規模言語モデル（LLM）の普及は、それらの幻覚の傾向によって妨げられています。これは、もっともらしいが事実に基づかない情報を生成することです。リトリーバル・オーグメンテッド・ジェネレーション（RAG）システムは、外部知識に基づいて応答を地に足をつけようとする試みですが、幻覚は特に形態的に複雑なリソースが限られた言語であるトルコ語においては依然として持続的な課題です。本論文では、トルコ語RAGアプリケーション向けに特別に設計された最初の幻覚検出モデルのスイートであるTurk-LettuceDetectを紹介します。LettuceDetectフレームワークに基づき、幻覚検出をトークンレベルの分類タスクとして定式化し、トルコ語特化型ModernBERT、TurkEmbed4STS、および多言語EuroBERTという三つの異なるエンコーダーアーキテクチャをファインチューニングしました。これらのモデルは、質問応答、データからテキスト生成、要約タスクを含む17,790のインスタンスを含むRAGTruthベンチマークデータセットの機械翻訳版で訓練されました。実験結果は、ModernBERTベースのモデルが完全なテストセットでF1スコア0.7266を達成し、特に構造的なタスクで強力なパフォーマンスを示すことを示しています。これらのモデルは、8,192トークンまでの長いコンテキストをサポートしつつ計算効率を維持し、リアルタイム展開に適しています。比較分析では、最先端のLLMが高いリコールを示す一方で、過剰な幻覚生成により低い精度に悩むことを浮き彫りにしており、専門的な検出メカニズムの必要性を強調しています。モデルと翻訳データセットをリリースすることで、この研究は多言語NLPにおける重要なギャップに対処し、トルコ語や他の言語向けのより信頼性の高いAIアプリケーションを開発するための基盤を確立します。