Sobre la calibración de redes neuronales modernas

La calibración de confianza — el problema de predecir estimaciones de probabilidad representativas de la verdadera probabilidad de corrección — es importante para los modelos de clasificación en muchas aplicaciones. Descubrimos que las redes neuronales modernas, a diferencia de las de hace una década, están mal calibradas. A través de extensos experimentos, observamos que la profundidad, el ancho, la descomposición de peso y la normalización por lotes son factores importantes que influyen en la calibración. Evaluamos el rendimiento de varios métodos de calibración de post-procesamiento en arquitecturas de vanguardia con conjuntos de datos de clasificación de imágenes y documentos. Nuestro análisis y experimentos no solo ofrecen conocimientos sobre el aprendizaje de redes neuronales, sino que también proporcionan una receta simple y directa para entornos prácticos: en la mayoría de los conjuntos de datos, la escalación de temperatura — una variante de un solo parámetro de la escalación de Platt — es sorprendentemente efectiva para calibrar predicciones.