Limitações Teóricas da Auto-Atenção em Modelos de Sequência Neural

Transformers estão emergindo como o novo cavalo de batalha do NLP, mostrando grande sucesso em várias tarefas. Ao contrário dos LSTMs, transformers processam sequências de entrada inteiramente através da auto-atenção. Trabalhos anteriores sugeriram que as capacidades computacionais da auto-atenção para processar estruturas hierárquicas são limitadas. Neste trabalho, investigamos matematicamente o poder computacional da auto-atenção para modelar linguagens formais. Tanto na atenção suave quanto na atenção rígida, mostramos fortes limitações teóricas das habilidades computacionais da auto-atenção, descobrindo que ela não pode modelar linguagens finitas periódicas, nem estruturas hierárquicas, a menos que o número de camadas ou cabeçotes aumente com o comprimento da entrada. Essas limitações parecem surpreendentes, dado o sucesso prático da auto-atenção e o papel proeminente atribuído à estrutura hierárquica na linguística, sugerindo que a linguagem natural pode ser bem aproximada com modelos que são fracos demais para as linguagens formais tipicamente assumidas na linguística teórica.