Transformador de Atenção Cruzada Inspirado na Otimização para Sensoriamento Compreensivo

Ao integrar certos solucionadores de otimização com redes neurais profundas, a rede de desdobramento profundo (DUN) com boa interpretabilidade e alto desempenho tem atraído atenção crescente no sensoriamento compreensivo (CS). No entanto, DUNs existentes muitas vezes melhoram a qualidade visual à custa de um grande número de parâmetros e têm o problema de perda de informação de características durante a iteração. Neste artigo, propomos um módulo de Transformador de Atenção Cruzada inspirado na Otimização (OCT) como um processo iterativo, levando a um Framework de Desdobramento baseado em OCT (OCTUF) leve para CS de imagem. Especificamente, projetamos um novo submódulo de Atenção Cruzada Dual (Dual-CA), que consiste em um bloco de Atenção Cruzada Fornecida por Inércia (ISCA) e um bloco de Atenção Cruzada Guiada por Projeção (PGCA). O bloco ISCA introduz forças de inércia multicanal e aumenta o efeito de memória por meio de um mecanismo de atenção cruzada entre iterações adjacentes. E, o bloco PGCA alcança uma interação de informação aprimorada, que introduz a força de inércia no passo de descida do gradiente por meio de um bloco de atenção cruzada. Extensos experimentos de CS demonstram que nosso OCTUF alcança desempenho superior em comparação com métodos de ponta, enquanto treina com menor complexidade. Os códigos estão disponíveis em https://github.com/songjiechong/OCTUF.