関係を意識した画像-テキスト検索のためのクロスモーダルシーングラフマッチング

自然シーンの画像-テキスト検索は人気のある研究テーマです。画像とテキストは異質なクロスモーダルデータであるため、主要な課題の一つは、マルチモーダルデータを表現するための包括的かつ統一された表現を学習する方法です。自然シーン画像は主に、オブジェクトとそれらの関係という2種類の視覚概念を含んでおり、これらは画像-テキスト検索において同等に重要です。したがって、良い表現は両者を考慮に入れるべきです。複雑な自然シーンを記述するための多くのCVおよびNLPタスクにおけるシーングラフの最近の成功に照らして、画像とテキストを2種類のシーングラフ、すなわち視覚シーングラフ（VSG）とテキストシーングラフ（TSG）で表現することを提案します。それぞれは、対応するモダリティにおけるオブジェクトと関係を共同で特徴付けるために利用されます。画像-テキスト検索タスクは、その結果として、自然にクロスモーダルシーングラフマッチングとして定式化されます。具体的には、VSGとTSGのために2つの特定のシーングラフエンコーダを設計し、近傍情報を集約することによってグラフ上の各ノードの表現を洗練させることができます。その結果、オブジェクトレベルと関係レベルのクロスモーダル特徴の両方を取得でき、これにより画像とテキストの類似性を2つのレベルでより信頼性の高い方法で評価できます。Flickr30kおよびMS COCOで最先端の結果を達成し、画像-テキスト検索のための我々のグラフマッチングベースのアプローチの利点を確認しました。