Explorando a Robustez do Aprendizado em Contexto com Rótulos Ruins

Recentemente, a misteriosa habilidade de Aprendizado em Contexto (ICL) exibida por arquiteturas Transformer, especialmente em grandes modelos de linguagem (LLMs), despertou um interesse significativo de pesquisa. No entanto, a resiliência das capacidades de aprendizado em contexto dos Transformers na presença de amostras ruidosas, prevalentes em corpora de treinamento e demonstrações de prompts, permanece pouco explorada. Neste artigo, inspirados por pesquisas anteriores que estudam a habilidade de ICL utilizando classes de funções simples, examinamos mais de perto esse problema investigando a robustez dos Transformers contra rótulos ruidosos. Especificamente, primeiro realizamos uma avaliação e análise minuciosas da robustez dos Transformers em relação a rótulos ruidosos durante o aprendizado em contexto e mostramos que eles exibem uma resiliência notável contra diversos tipos de ruído nos rótulos de demonstração. Além disso, aprofundamos esse problema explorando se a introdução de ruído no conjunto de treinamento, semelhante a uma forma de aumento de dados, melhora tal robustez durante a inferência, e encontramos que esse ruído pode, de fato, melhorar a robustez do ICL. No geral, nossa análise frutífera e descobertas fornecem uma compreensão abrangente da resiliência dos modelos Transformer contra ruídos de rótulo durante o ICL e oferecem insights valiosos para a pesquisa sobre Transformers em processamento de linguagem natural. Nosso código está disponível em https://github.com/InezYu0928/in-context-learning.