画像からの自動文生成

ウェブ上で使用される圧倒的な量のマルチメディアに対して、文を用いた検索と理解の方法が必要です。内容をラベルだけでなく、ラベルの関係を含む文を使用して表現することで、ユーザーはストーリーを持って検索し、マルチメディアを深く理解できるようになります。しかし、物体の関係性と文法を取得することが難しいため、そのような文を記述した既存の研究はほとんどありません。私たちは特に入力画像に類似した画像のキャプションを調査します。それらは、ある程度、入力画像を説明することが期待されます。したがって、私たちはこれらのキャプションを要約することによって、入力画像のための文としてのキャプションを生成する新しいアプローチを提案します。画像とテキストからなるデータセットを使用した実験は、提案された方法が文としてのキャプションを生成できることを示しています。