マルチステージ進行画像復元

画像復元タスクは、画像を復元する際に空間的詳細と高レベルの文脈化された情報との間で複雑なバランスを要求します。本論文では、これらの競合する目標を最適にバランスさせる新しい協調設計を提案します。我々の主な提案は、劣化した入力の復元関数を段階的に学習するマルチステージアーキテクチャであり、全体の復元プロセスをより管理可能なステップに分解します。具体的には、我々のモデルは最初にエンコーダーデコーダーアーキテクチャを使用して文脈化された特徴を学び、その後、局所情報を保持する高解像度ブランチと組み合わせます。各ステージでは、局所特徴を再重み付けするために、その場で監視された注意を活用する新しいピクセルごとに適応型のデザインを導入します。このようなマルチステージアーキテクチャにおける重要な要素は、異なるステージ間の情報交換です。そのため、我々は情報が初期ステージから後期ステージへと順次交換されるだけでなく、特徴処理ブロック間に横の接続も存在し、情報の損失を回避する二面的なアプローチを提案します。その結果得られた密接に相互連結されたマルチステージアーキテクチャは、MPRNetと名付けられ、画像の雨滴除去、ぼかし除去、ノイズ除去などのタスクにわたる10のデータセットで強力な性能向上をもたらします。ソースコードと事前トレーニング済みモデルはhttps://github.com/swz30/MPRNetで入手可能です。