Super-resolução de imagens utilizando transformador com atenção dilatada na vizinhança

Métodos baseados em transformadores alcançaram um desempenho impressionante em super-resolução de imagens (SR). Para reduzir o custo computacional e a redundância da atenção global, a maioria dos métodos baseados em transformadores adota um mecanismo de atenção localizada, o que diminui as características desejáveis da autoatenção (SA), como o modelamento eficaz de dependências de longo alcance e a capacidade de capturar um campo receptivo global. Para aliviar esse problema, propomos um transformador de atenção na vizinhança dilatada para a super-resolução de imagens (DiNAT-SR) para melhorar o SwinIR para super-resolução de imagens; nele, substituímos a SA pelo DiNA para capturar mais dados globais e permitir que o campo receptivo cresça exponencialmente. Além disso, também introduzimos um bloco de modulação convolucional no transformador para melhorar a representação visual e facilitar uma convergência mais suave durante o treinamento. Nossa pesquisa confirmou, pela primeira vez, a viabilidade do DiNA no campo da super-resolução de imagens. Resultados experimentais demonstraram a eficácia do DiNAT-SR com melhores resultados em comparação com o SwinIR na maioria dos benchmarks, tanto quantitativa quanto visualmente. Também fornecemos uma comparação de modelos leves de super-resolução de imagens, e nosso modelo se saiu melhor que o SwinIR-light em todos os benchmarks, com números totais de parâmetros e operações de ponto flutuante semelhantes. A eficácia de cada componente introduzido é validada também por um estudo de ablação.