Key points are not available for this paper at this time.
Modelos de Linguagem Grandes (LLMs), com sua notável habilidade de enfrentar problemas de raciocínio desafiadores e não vistos, têm um imenso potencial para a aprendizagem tabular, que é vital para muitas aplicações do mundo real. Neste artigo, propomos uma nova estrutura de aprendizagem em contexto, FeatLLM, que emprega LLMs como engenheiros de recursos para produzir um conjunto de dados de entrada que é otimamente adequado para previsões tabulares. Os recursos gerados são utilizados para inferir a probabilidade de classe com um modelo de aprendizado de máquina simples, como a regressão linear, e produzem alta performance em aprendizagem com poucos exemplos. A estrutura proposta FeatLLM utiliza apenas este modelo preditivo simples com os recursos descobertos no momento da inferência. Em comparação com abordagens existentes baseadas em LLM, o FeatLLM elimina a necessidade de enviar consultas ao LLM para cada amostra no momento da inferência. Além disso, requer apenas acesso em nível de API aos LLMs e supera as limitações de tamanho dos prompts. Como demonstrado em numerosos conjuntos de dados tabulares de uma ampla gama de domínios, o FeatLLM gera regras de alta qualidade, superando significativamente (10% em média) alternativas como TabLLM e STUNT.
Han et al. (Mon,) estudaram essa questão.