FastGAS: Seleção Rápida de Anotações Baseadas em Grafos para Aprendizado em Contexto

O aprendizado em contexto (ICL) capacita grandes modelos de linguagem (LLMs) a enfrentar novas tarefas utilizando uma série de instâncias de treinamento como prompts. Como a geração dos prompts requer amostrar de um vasto pool de instâncias e anotá-las (por exemplo, adicionar rótulos em tarefas de classificação), métodos existentes propuseram selecionar um subconjunto de exemplos não rotulados para anotação, melhorando assim a qualidade dos prompts e mitigando os custos de anotação. No entanto, esses métodos costumam exigir muito tempo para selecionar as instâncias devido à sua complexidade, dificultando sua viabilidade prática. Para abordar essa limitação, propomos um método de seleção baseado em grafos, o FastGAS, projetado para identificar instâncias de alta qualidade de maneira eficiente enquanto minimiza a sobrecarga computacional. Inicialmente, construímos um grafo de similaridade de dados com base nas similaridades das instâncias. Em seguida, utilizando um algoritmo de partição de grafos, partimos o grafo em peças. Dentro de cada peça (ou seja, subgrafo), adotamos uma abordagem gulosa para selecionar os nós mais representativos. Ao agregar nós de diversas peças e anotar as instâncias correspondentes, identificamos um conjunto de instâncias diversas e representativas para o ICL. Comparado a abordagens anteriores, nosso método não apenas exibe desempenho superior em diferentes tarefas, mas também reduz significativamente o tempo de seleção. Além disso, demonstramos a eficácia de nossa abordagem em LLMs de tamanhos maiores.