埋まった画像表現を逆転させることによる理解

SIFTや視覚単語のバッグから畳み込みニューラルネットワーク（CNN）に至る画像表現は、ほぼすべての画像理解システムの重要な要素です。それにもかかわらず、私たちの理解は限られたままです。本論文では、画像のエンコーディングが与えられたときに、どの程度まで画像自体を再構成することが可能かという以下の質問を通じて、表現に含まれる視覚情報の直接分析を行います。この質問に答えるために、表現を逆転させるための一般的な枠組みを提案します。この方法は、最近の代替手段に比べてHOGなどの表現をより正確に逆転させることができ、CNNにも適用可能であることを示します。そして、この技術を用いて、最新のCNN画像表現の逆転を初めて研究します。我々の発見の中で、CNNのいくつかの層が、画像に関する写真のように正確な情報を保持し、幾何学的および光度的不変性の異なる程度を持つことを示します。