Predicción Tabular Consciente de Incertidumbre: Evaluación de TabPFN Mejorado con VBLL en Datos Médicos Críticos para la Seguridad

Los modelos predictivos se están utilizando cada vez más en una amplia gama de dominios, incluidas aplicaciones críticas para la seguridad, como el diagnóstico médico y la justicia penal. La estimación confiable de incertidumbre es una tarea crucial en tales entornos. La Red de Datos Previos Ajustada Tabular (TabPFN) es un modelo fundamental de aprendizaje automático propuesto recientemente para conjuntos de datos tabulares, que utiliza una arquitectura de transformador generativo. Las Últimas Capas Variacionales Bayesianas (VBLL) son una formulación variacional ligera de última generación que mejora efectivamente la estimación de incertidumbre con un mínimo costo computacional. En este trabajo, buscamos evaluar el rendimiento de VBLL integrado con el recientemente propuesto TabPFN en la calibración de incertidumbre. Nuestros experimentos, realizados en tres conjuntos de datos tabulares médicos de referencia, comparan el rendimiento del TabPFN original y la versión integrada con VBLL. Contrario a las expectativas, observamos que el TabPFN original supera consistentemente al TabPFN integrado con VBLL en la calibración de incertidumbre en todos los conjuntos de datos.