Transformers para Aprendizagem Contínua Online Supervisionada

Transformers se tornaram a arquitetura dominante para tarefas de modelagem de sequência, como processamento de linguagem natural ou processamento de áudio, e agora são considerados até mesmo para tarefas que não são naturalmente sequenciais, como classificação de imagens. Sua capacidade de prestar atenção e processar um conjunto de tokens como contexto lhes permite desenvolver habilidades de aprendizagem de poucos exemplos em contexto. No entanto, seu potencial para aprendizagem contínua online permanece relativamente inexplorado. Na aprendizagem contínua online, um modelo deve se adaptar a um fluxo de dados não estacionário, minimizando a perda de previsão do próximo passo acumulada. Nós nos concentramos no cenário de aprendizagem contínua online supervisionada, onde aprendemos um preditor xₜ yₜ para uma sequência de exemplos (xₜ, yₜ). Inspirados nas capacidades de aprendizagem em contexto dos transformers e sua conexão com a meta-aprendizagem, propomos um método que aproveita essas forças para a aprendizagem contínua online. Nossa abordagem condiciona explicitamente um transformer a observações recentes, ao mesmo tempo em que o treina online com descida de gradiente estocástica, seguindo o procedimento introduzido com o Transformer-XL. Incorporamos replay para manter os benefícios do treinamento de múltiplas épocas, enquanto seguimos o protocolo sequencial. Hipotetizamos que essa combinação permite uma adaptação rápida através da aprendizagem em contexto e uma melhoria sustentada a longo prazo via aprendizagem paramétrica. Nosso método demonstra melhorias significativas em relação aos resultados anteriores de ponta no CLOC, um desafiador benchmark real de larga escala para geolocalização de imagens.