畳み込みネットワークによる認識へのぼかしの影響の検討

多くのセマンティック視覚タスクにおける最先端のアルゴリズムは、畳み込みニューラルネットワークの使用に基づいています。これらのネットワークは、アーティファクトのない高品質な画像の大規模に注釈付きデータセットで一般的に訓練され、評価されています。本論文では、自然なキャプチャ設定で非常に一般的なアーティファクトの1つである光学的ぼかしの影響を調査します。解像度の低下や被写体またはカメラの動きによってぼけた画像に適用された際に、高品質な画像のみで訓練された標準的なネットワークモデルは、パフォーマンスの著しい劣化を受けることを示します。この劣化が訓練データと入力画像の統計の不一致によるものであるかを調査します。具体的には、ぼかし画像を訓練セットに追加して事前訓練されたモデルをファインチューニングすることで、失われた精度の多くを回復できることを発見しました。また、異なる程度や種類のぼかしの間にはある程度の一般化があり、入力のぼかしの性質が不明な場合でも、単一のネットワークモデルを堅牢に認識に使用できることを示します。この堅牢性は、これらのモデルが隠れ層でぼかし不変の表現を生成することを学習する結果として生じることを発見しました。我々の発見は、ぼかしの影響を受けた現実世界の画像で信頼性のある視覚システムを開発するための有用な洞察を提供します。