多言語FActScoreの分析

FActScoreは、英語の大規模言語モデル（LLM）が生成した長文テキストの事実性を推定するための指標として人気を博しています。しかし、他の言語におけるFActScoreの挙動を研究した研究はありません。本論文では、多言語設定におけるFActScoreの4コンポーネントパイプラインの各コンポーネントの限界を調査します。強力な多言語LLMによって生成されたテキストに対するFActScore用の新しいデータセットを紹介します。我々の評価は、LLMが事実抽出と事実スコアリングタスクにおいて明確な挙動を示すことを示しています。リソースの異なる言語間で、一貫した信頼性のあるFActScoreを生成するLLMは存在しません。また、知識源が推定されたFActScoreの質において重要な役割を果たすこともわかりました。Wikipediaを知識源として使用することは、中・低リソース言語においてその限定的なカバレッジのために、長文テキストの真のFActScoreを妨げる可能性があります。我々は、最終的にすべての言語におけるFActScoreの推定を改善する知識源への3つの緩和策も取り入れました。