SwitchTab: Autoencoders Intercambiados Son Aprendices Efectivos de Datos Tabulares

Los métodos de aprendizaje de representaciones auto-supervisados han logrado un éxito significativo en visión por computadora y procesamiento de lenguaje natural, donde las muestras de datos exhiben dependencias espaciales o semánticas explícitas. Sin embargo, aplicar estos métodos a datos tabulares es un desafío debido a las dependencias menos pronunciadas entre las muestras de datos. En este documento, abordamos esta limitación al introducir SwitchTab, un nuevo método auto-supervisado diseñado específicamente para capturar dependencias latentes en datos tabulares. SwitchTab aprovecha un marco de codificador-decodificador asimétrico para desacoplar características mutuas y salientes entre pares de datos, resultando en incrustaciones más representativas. Estas incrustaciones, a su vez, contribuyen a mejores límites de decisión y conducen a mejores resultados en tareas descendentes. Para validar la efectividad de SwitchTab, realizamos extensos experimentos en varios dominios que involucran datos tabulares. Los resultados muestran un rendimiento superior en tareas de predicción de extremo a extremo con ajuste fino. Además, demostramos que las incrustaciones salientes pre-entrenadas pueden ser utilizadas como características plug-and-play para mejorar el rendimiento de varios métodos de clasificación tradicionales (por ejemplo, Regresión Logística, XGBoost, etc.). Por último, destacamos la capacidad de SwitchTab para crear representaciones explicables a través de la visualización de características mutuas y salientes desacopladas en el espacio latente.