全方位画像超解像のための幾何歪みガイドトランスフォーマー

仮想現実および拡張現実アプリケーションの人気が高まる中で、全方位画像 (ODI) 超解像はますます重要になっています。平面上に形成される2D平面画像とは異なり、ODIは球面に投影されます。したがって、確立された画像超解像法をODIに適用するには、ODIを平面にマッピングするために等角直線投影 (ERP) を行う必要があります。ODI超解像は、ERPから生じる幾何歪みを考慮する必要があります。しかし、ERP画像の幾何歪みを考慮せずに、これまでの深層学習ベースの方法は限られた範囲のピクセルしか利用できず、再構成のための自己類似テクスチャを見逃すことがあるかもしれません。本論文では、新たな幾何歪みガイドトランスフォーマーによる全方位画像超解像 (GDGT-OSR) を紹介します。具体的には、歪み調整された長方形窓自己注意メカニズムを提案し、変形可能な自己注意と統合して、歪みをよりよく認識し、より多くの自己類似テクスチャを取り入れます。歪み調整は、新たに考案された歪みガイダンスジェネレーターによって実現され、緯度間の歪みの変動を利用してガイダンスを生成します。さらに、異なる自己注意モジュールからの特徴を適応的に融合する動的特徴集約スキームを提案します。公開データセットでの広範な実験結果を示し、新しいGDGT-OSRが既存文献の方法を上回ることを示します。