カメレオン：欠損モダリティに強いマルチモーダル学習フレームワーク

要旨：マルチモーダル学習は、単一モダリティのアーキテクチャに対して驚異的なパフォーマンス改善を示しています。しかし、マルチモーダル学習手法は、一つまたは複数のモダリティが欠けている場合に、しばしばパフォーマンスが低下します。これは、モダリティ固有のコンポーネントを含む一般的に使用されるマルチブランチ設計に起因しており、そのため、こうしたアプローチは完全なモダリティセットの利用可能性に依存しています。本研究では、全ての入力モダリティを整合させる共通空間視覚学習ネットワークを適用した堅牢なマルチモーダル学習フレームワークを提案します。これを実現するために、視覚以外のモダリティを視覚表現にエンコードすることで、全ての入力モダリティを一つの形式に統一します。これにより、欠損モダリティに対しても強くなります。マルチモーダル分類タスクに対して、4つのテキスト-視覚データセット（Hateful Memes、UPMC Food-101、MM-IMDb、Ferramenta）と2つの音声-視覚データセット（avMNIST、VoxCeleb）を用いた広範な実験を実施します。本手法は、全てのモダリティが訓練/テスト時に存在する場合に優れたパフォーマンスを達成するだけでなく、欠損モダリティのケースでも顕著な耐性を示します。