Hal-Eval: 大型ビジョン言語モデルのための普遍的かつ詳細な幻覚評価フレームワーク

大型ビジョン言語モデルは驚異的な能力を示しますが、画像とその記述間の幻覚の不一致に苦しんでいます。LVLMに関する以前の幻覚評価研究では、物体、属性、および関係の観点から幻覚が特定されましたが、架空の存在に関する全体の物語を作り出す複雑な幻覚を見落としていました。本論文では、幻覚の新しいカテゴリとしてイベント幻覚を特徴とする洗練された幻覚の分類を提案します。次に、進化したLLMを使用して、さまざまなタイプの幻覚から成る細かい幻覚データを生成し、フィルタリングします。特にイベント幻覚に焦点を当て、普遍的な評価フレームワーク内での識別的および生成的な評価方法の統合の基礎を築きます。提案されたベンチマークは、LVLMが幅広い幻覚に対処する能力を独自に評価し、幻覚を扱うLVLMの効力を評価するための信頼性の高い包括的なツールとなります。私たちはコードとデータをリリースする予定です。