Não Treinado e Não Correspondido: Classificação Rápida e Precisa sem Treinamento para Dados de Engenharia Tabulares

Resumo Na concepção de engenharia, navegar por paisagens complexas de tomada de decisão exige uma exploração minuciosa dos espaços de design, desempenho e restrições, frequentemente dificultada por simulações que consomem muitos recursos. Métodos baseados em dados podem mitigar esse desafio ao aproveitar dados históricos para delinear domínios viáveis, acelerar a otimização ou avaliar projetos. No entanto, a implementação desses métodos geralmente requer expertise em aprendizado de máquina e múltiplos testes para escolher o método e os hiperparâmetros corretos. Isso os torna menos acessíveis para inúmeras situações de engenharia. Além disso, existe um compromisso inerente entre a velocidade de treinamento e a precisão, com métodos mais rápidos comprometendo às vezes a precisão. Em nosso artigo, demonstramos que um modelo de classificação baseado em transformadores de propósito geral recentemente lançado, TabPFN, é tanto rápido quanto preciso. Notavelmente, ele não requer treinamento específico de conjunto de dados para avaliar novos dados tabulares. TabPFN é uma rede ajustada a dados anteriores, que passa por um treinamento offline único em uma ampla gama de conjuntos de dados sintéticos e realiza aprendizado em contexto. Avaliamos a eficácia do TabPFN em oito problemas de classificação de design de engenharia, contrastando-o com sete outros algoritmos, incluindo um método de aprendizado de máquina automatizado de última geração (AutoML). Para esses desafios de classificação, o TabPFN consistentemente se destaca em velocidade e precisão. Também é o mais eficiente em termos de dados e oferece a vantagem adicional de ser diferenciável e fornecer estimativas de incerteza. Nossas descobertas defendem o potencial de modelos pré-treinados que aprendem com dados sintéticos e não requerem ajuste específico de domínio para tornar o design de engenharia baseado em dados acessível a uma comunidade mais ampla e abrir caminhos para modelos de propósito geral eficientes válidos em diversas aplicações. Além disso, compartilhamos um conjunto de problemas de referência para avaliar novos algoritmos de classificação em design de engenharia.