Key points are not available for this paper at this time.
A atenção por produto escalar tem amplas aplicações em visão computacional e processamento de linguagem natural. No entanto, seus custos de memória e computacionais crescem quadraticamente com o tamanho da entrada. Esse crescimento proíbe sua aplicação em entradas de alta resolução. Para corrigir essa desvantagem, este artigo propõe um novo mecanismo de atenção eficiente equivalente à atenção por produto escalar, mas com custos de memória e computacionais substancialmente menores. Sua eficiência de recursos permite uma integração mais ampla e flexível de módulos de atenção em uma rede, o que leva a melhores acurácias. Avaliações empíricas demonstraram a eficácia de suas vantagens. Módulos de atenção eficiente trouxeram aumentos significativos de desempenho para detectores de objetos e segmentadores de instâncias no MS-COCO 2017. Além disso, a eficiência de recursos democratiza a atenção para modelos complexos, onde altos custos proíbem o uso da atenção por produto escalar. Como exemplo, um modelo com atenção eficiente alcançou acurácias de ponta para estimativa de profundidade estereoscópica no conjunto de dados Scene Flow. O código está disponível em https://github.com/cmsflash/efficient-attention.
Shen et al. (Fri,) estudaram esta questão.