二層クロスアテンションによる質問認識推論フレームワーク

マルチモーダル思考連鎖（CoT）推論は、人工知能における重要な研究方向として浮上しています。しかし、現在のアプローチは、モダリティ融合のために単一の推論モジュールと複雑な多層ゲート付きマルチホップクロスアテンションメカニズムを用いた線形CoT構造を主に採用しており、著しい制限が見られます。具体的には、線形CoT構造が問題の特性に基づいて適切な推論モジュールを動的に選択できないため、中間推論中に幻覚が発生することが多いです。さらに、密接に結合されたゲーティングおよびクロスアテンションメカニズムは、モーダリティ間相互作用中に重要な情報の流れを抑制する可能性があり、誤った予測を引き起こす結果となります。これらの課題に対処するために、我々は単一層ゲート戦略と二層クロスアテンション融合メカニズムを統合した新しいマルチモーダル推論フレームワークM-TCMを提案します。この設計は、モダリティ融合の複雑さを減少させるだけでなく、中間推論に重要な情報を効果的に保持します。さらに、M-TCMは新しいモジュール選択戦略を取り入れています。まず、既存のScienceQAデータセットを補完し、二つの異なる推論モジュールのトレーニングを促進する新しいデータセットSQ-GPT4を構築します。次に、モデルは各問題の具体的なスキル要件に基づいて、最も適切な推論モジュールを動的に選択します。ScienceQAベンチマークでの実験結果は、提案したモデルの優位性を示しており、予測精度は88.23%に達しています。