CLIPは赤い円について何を知っているのか？VLMsのためのビジュアルプロンプトエンジニアリング

CLIPなどの大規模な視覚言語モデルは、ゼロショット分類からテキストから画像の生成まで、数多くの応用がある強力な画像テキスト表現を学習します。しかし、それにもかかわらず、プロンプトを使用して新しい識別タスクを解決する能力は、GPT-3などの大規模な言語モデルには及びません。本研究では、テキストの代わりに画像空間で編集することで、分類を超えたコンピュータビジョンタスクを解決するためのビジュアルプロンプトエンジニアリングのアイデアを探ります。特に、私たちはCLIPの新たな能力を発見しました。これは、単にオブジェクトの周りに赤い円を描くだけで、モデルの注意をその領域に向けさせながら、グローバル情報も維持できるというものです。このシンプルなアプローチの力を示すために、ゼロショット参照表現理解において最先端の成果を達成し、キーポイントローカリゼーションタスクにおいても強力なパフォーマンスを発揮しました。最後に、大規模な言語-視覚モデルの潜在的な倫理的懸念にも注意を喚起します。