TabReD: Un Referente de Aprendizaje Automático Tabular en el Mundo Real

Los referentes que reflejan de cerca los escenarios de aplicación posteriores son esenciales para la adopción fluida de nuevas investigaciones en el aprendizaje automático (ML) tabular. En este trabajo, examinamos los referentes tabulares existentes y encontramos dos características comunes de los datos tabulares de nivel industrial que están subrepresentadas en los conjuntos de datos disponibles para la comunidad académica. Primero, los datos tabulares a menudo cambian con el tiempo en escenarios de implementación del mundo real. Esto impacta el rendimiento del modelo y requiere divisiones de entrenamiento y prueba basadas en el tiempo para una evaluación correcta del modelo. Sin embargo, los conjuntos de datos tabulares académicos existentes a menudo carecen de metadatos de marca de tiempo para permitir dicha evaluación. En segundo lugar, una porción considerable de los conjuntos de datos en entornos de producción proviene de extensos procesos de adquisición de datos e ingeniería de características. Para cada conjunto de datos específico, esto puede tener un impacto diferente en el número absoluto y relativo de características predictivas, no informativas y correlacionadas, lo que a su vez puede afectar la selección del modelo. Para llenar las brechas mencionadas en los referentes académicos, introducimos TabReD: una colección de ocho conjuntos de datos tabulares de nivel industrial que cubren una amplia gama de dominios, desde finanzas hasta servicios de entrega de alimentos. Evaluamos un gran número de modelos de ML tabular en el entorno de datos ricos en características y temporalmente evolutivos facilitado por TabReD. Demostramos que la evaluación en divisiones de datos basadas en el tiempo conduce a diferentes clasificaciones de métodos, en comparación con la evaluación en divisiones aleatorias más comunes en los referentes académicos. Además, en los conjuntos de datos de TabReD, las arquitecturas similares a MLP y GBDT muestran los mejores resultados, mientras que los modelos de DL más sofisticados aún deben demostrar su efectividad.