SHAPE: Embedding de Posição Absoluta Deslocada para Transformers

A representação de posição é crucial para construir representações sensíveis à posição em Transformers. As representações de posição existentes sofrem de falta de generalização para dados de teste com comprimentos não vistos ou alto custo computacional. Investigamos o embedding de posição absoluta deslocada (SHAPE) para abordar ambas as questões. A ideia básica do SHAPE é alcançar invariância a deslocamentos, que é uma propriedade chave de representações de posição bem-sucedidas recentes, ao deslocar aleatoriamente posições absolutas durante o treinamento. Demonstramos que o SHAPE é empiricamente comparável ao seu contraparte, enquanto é mais simples e mais rápido 1 .