ソーシャルメディアにおけるグラウンデッドマルチモーダル命名エンティティ認識

近年、ソーシャルメディアにおけるマルチモーダル命名エンティティ認識（MNER）が大きな注目を集めています。しかし、既存のMNER研究はテキスト内のエンティティタイプペアのみを抽出しており、マルチモーダル知識グラフの構築には役立たず、エンティティの曖昧さの解消には不十分です。これらの問題を解決するために、本研究ではグラウンデッドマルチモーダル命名エンティティ認識（GMNER）タスクを導入します。テキスト-画像のソーシャルポストが与えられた場合、GMNERはテキスト内の命名されたエンティティ、そのエンティティタイプ、及び画像内のバウンディングボックスのグラウンディング（すなわち、視覚的領域）を特定することを目指します。GMNERタスクに取り組むために、既存の二つのMNERデータセットを基にTwitterデータセットを構築します。さらに、よく知られた四つのMNER手法を拡張して多数のベースラインシステムを確立し、階層的にエンティティタイプ-領域トリプルを生成する階層的インデックス生成フレームワークであるH-Indexを提案します。我々の注釈付きデータセットにおける実験結果は、GMNERタスクにおいてH-Indexフレームワークがベースラインシステムより優れていることを示しています。