一般知識埋め込み画像表現学習

画像表現学習は、画像のセマンティクスを理解する上での基本的な問題です。しかし、従来の分類ベースの表現学習手法は、監視ラベルのノイズや不完全性という問題に直面しています。本論文では、一般知識グラフを使用した一般知識ベースの埋め込み画像表現学習アプローチを提案します。これは、画像空間を超える人間の常識で構成される多種類の関係知識グラフであり、画像表現学習における概念の関係を捉えるための外部セマンティックリソースとして機能します。関係正則化回帰CNN (R 3 CNN)モデルは、画像表現学習問題と知識グラフ埋め込み問題を共同で最適化するように設計されています。この方法により、学習された表現はラベル付きタグだけでなく、画像の関連概念も捉えることができ、より正確で完全なセマンティクスを含むことができます。タグ予測タスク、ゼロショットタグ推論タスク、内容ベースの画像検索タスクにおける我々のアプローチの有効性と移転可能性を調査するために、包括的な実験が行われました。実験結果は、提案されたアプローチが既存の表現学習手法よりもはるかに優れていることを示しています。最後に、学習された関係の観察は、我々のアプローチが画像を記述するための知識ベースをある程度改善し、画像に構造化されたタグを付けることができることを示しています。