O aprendizado em contexto é um paradigma recente na compreensão de linguagem natural, onde um grande modelo de linguagem pré-treinado (LM) observa uma instância de teste e alguns exemplos de treinamento como sua entrada, e decodifica diretamente a saída sem nenhuma atualização de seus parâmetros. No entanto, o desempenho tem mostrado depender fortemente dos exemplos de treinamento selecionados (chamados sugestões). Neste trabalho, propomos um método eficiente para recuperar sugestões para aprendizado em contexto utilizando dados anotados e um LM. Dada uma par de entrada-saída, estimamos a probabilidade da saída dada a entrada e um exemplo de treinamento candidato como sugestão, e rotulamos os exemplos de treinamento como positivos ou negativos com base nessa probabilidade. Em seguida, treinamos um recuperador denso eficiente a partir desses dados, que é usado para recuperar exemplos de treinamento como sugestões no momento do teste. Avaliamos nossa abordagem em três tarefas de sequência para sequência onde expressões linguísticas são mapeadas para representações de significado, e descobrimos que ela supera substancialmente trabalhos anteriores e várias linhas de base em todos os aspectos.
Rubin et al. (Sat,) estudaram esta questão.