非自己回帰型クロスモーダル整合性モデリング

情報の整合性をモデル化することは、人間が物理的世界を認識し理解するために重要です。既存の整合性モデリングに関する研究は主に単一モーダリティに焦点を当てており、モーダリティ間の情報統合と意味的一貫性の影響を見落としています。この研究のギャップを埋めるために、本論文はクロスモーダル整合性モデリング、特にクロスモーダル順序付けタスクを対象としています。このタスクは、単一モーダリティの整合性情報を探求するだけでなく、クロスモーダル情報を活用してモーダリティ間の意味的一貫性をモデル化することを要求します。この目的のために、基本的なエンコーダ-デコーダアーキテクチャを採用した非自己回帰型クロスモーダル順序付けネットワーク（NACON）を提案します。具体的には、NACONは順序不変のコンテキストエンコーダを搭載して無秩序な入力セットをモデル化し、非自己回帰型デコーダを使用して順序付けられたシーケンスを並行して生成します。NACON内にクロスモーダル位置注意モジュールを設計し、クロスモーダル順序ガイダンスを活用します。非自己回帰モデルの繰り返し問題を軽減するために、位置と要素間の順序の排他的な一貫性を制約するエレガントな排他的損失を導入します。タスクをサポートするために、SINDおよびTACoS-Orderingの2つの組み合わせデータセットで広範な実験を実施しました。実験結果は、提案されたNACONがクロスモーダルガイダンスを効果的に活用し、要素の正しい順序を復元できることを示しています。コードは https://github.com/YiBin-CHN/CMCM で入手可能です。