Bloco de Atenção Auto-Ajustável Bi-Direcional para Modelagem de Sequência Rápida e Eficiente em Memória

Redes neurais recorrentes (RNN), redes neurais convolucionais (CNN) e redes de autoatenção (SAN) são comumente usadas para produzir representações conscientes do contexto. RNN pode capturar dependências de longo alcance, mas é difícil de paralelizar e não é eficiente em termos de tempo. CNN foca na dependência local, mas não se desempenha bem em algumas tarefas. SAN pode modelar ambas as dependências através de computação altamente paralelizada, mas a necessidade de memória cresce rapidamente em linha com o comprimento da sequência. Neste artigo, propomos um modelo, chamado "rede de autoatenção em bloco bi-direcional (Bi-BloSAN)", para codificação de sequências sem RNN/CNN. Ele requer tão pouca memória quanto RNN, mas com todos os méritos de SAN. Bi-BloSAN divide toda a sequência em blocos e aplica uma SAN intra-bloco a cada bloco para modelar o contexto local, em seguida, aplica uma SAN inter-bloco às saídas de todos os blocos para capturar a dependência de longo alcance. Assim, cada SAN precisa processar apenas uma sequência curta, e apenas uma pequena quantidade de memória é necessária. Além disso, usamos atenção em nível de característica para lidar com a variação de contextos em torno da mesma palavra e usamos máscaras de avanço/recuo para codificar informações de ordem temporal. Em nove conjuntos de dados de benchmark para diferentes tarefas de PNL, Bi-BloSAN alcança ou melhora a precisão de ponta a ponta e mostra uma melhor troca de eficiência/memória do que as RNN/CNN/SAN existentes.