Máscara de Atenção Baseada em Sintaxe para Tradução Automática Neural

Apresentamos um método simples para estender transformers para árvores do lado da fonte. Definimos uma série de máscaras que limitam a autoatenção com base nas relações entre os nós da árvore e permitimos que cada cabeça de atenção aprenda qual máscara ou máscaras utilizar. Na tradução do inglês para vários idiomas de baixos recursos, e na tradução em ambas as direções entre o inglês e o alemão, nosso método sempre melhora em relação à linearização simples da árvore de análise do lado da fonte e quase sempre melhora em relação a uma linha base de sequência para sequência, em até +2,1% BLEU.