Flickr30kエンティティ: より豊かな画像-文モデルのための地域-フレーズ対応の収集

Flickr30kデータセットは文ベースの説明の標準ベンチマークとなっています。本論文では、Flickr30kからの158kキャプションに244kの指示系を追加したFlickr30kエンティティを紹介します。これは同じ画像の異なるキャプション間で同じエンティティの言及を結びつけ、276kの手動注釈されたバウンディングボックスに関連付けます。このような注釈は、画像の自動説明や基盤理解の継続的な進展のためのものです。これにより、画像内のテキストエンティティの言及に対する新しいベンチマークを定義することができます。このタスクに対して、画像-テキスト埋め込み、オブジェクトの検出器、カラー分類器、大きな選択を好むバイアスを組み合わせた強力なベースラインを提示します。我々のベースラインは、複雑な最先端技術と比較して精度で競合していますが、その利点を画像-文検索といったタスクの改善に簡単には移行できないことを示しており、手法の限界とさらなる研究の必要性を強調しています。