盲目的超解像のための詳細構造の代替最適化の学習

既存の畳み込みニューラルネットワーク（CNN）に基づく画像超解像（SR）手法は、バイキュービックカーネルで印象的な性能を達成していますが、これは現実のアプリケーションにおける未知の劣化を処理する際には有効ではありません。最近の盲目的SR手法では、ぼかしカーネルの推定に基づいてSR画像を再構築することが提案されています。しかし、それらの結果には、推定誤差による可視アーチファクトや詳細歪みが依然として残っています。これらの問題を緩和するために、本論文では、ぼかしカーネルの事前情報を組み込まずに盲目的SRのために詳細構造の代替最適化を可能にする効果的でカーネルフリーなネットワーク、即ちDSSRを提案します。具体的には、私たちのDSSRでは、画像の詳細と構造の相互作用と協業を利用するための詳細構造調整モジュール（DSMM）が構築されています。DSMMは、詳細復元ユニット（DRU）と構造調整ユニット（SMU）の2つのコンポーネントで構成されています。前者は、低解像度（LR）構造コンテキストから中間高解像度（HR）詳細再構築を回帰することを目的とし、後者はHRおよびLR空間の学習された詳細マップに基づいて構造コンテキストの調整を実行します。さらに、DSMMの出力を隠れ状態として使用し、再帰的畳み込みニューラルネットワーク（RCNN）の視点から私たちのDSSRアーキテクチャを設計します。このようにして、ネットワークは画像の詳細と構造コンテキストを交互に最適化でき、時間を通じて共同最適化を実現します。さらに、再帰的接続を備えた私たちのDSSRは、すべての展開時間における以前のHR詳細とコンテキストを観察することによって、低レベルおよび高レベルの特徴表現が相補的になることを可能にします。合成データセットおよび現実の画像に関する広範な実験により、私たちの手法が既存の手法に対して最先端の成果を達成することが示されています。