Los modelos de difusión han logrado un rendimiento de vanguardia, demostrando capacidades de generalización notables en diversos dominios. Sin embargo, los mecanismos que subyacen a estas capacidades sólidas siguen siendo solo parcialmente comprendidos. Una conjetura destacada, basada en la hipótesis de la variedad, atribuye este éxito a su capacidad de adaptarse a la estructura geométrica de baja dimensión dentro de los datos. Este trabajo proporciona evidencia para esta conjetura, centrándose en cómo tales fenómenos podrían resultar de la formulación del problema de aprendizaje a través de la coincidencia de puntuaciones. Inspeccionamos el papel de la regularización implícita investigando el efecto del suavizado de los minimizadores del objetivo empírico de coincidencia de puntuaciones. Nuestros resultados teóricos y empíricos confirman que suavizar la función de puntuación --o, de manera equivalente, suavizar en el dominio de la log-densidad-- produce suavizado tangencial a la variedad de datos. Además, mostramos que la variedad a lo largo de la cual el modelo de difusión generaliza puede ser controlada al elegir un suavizado apropiado.
Farghly et al. (Thu,) estudiaron esta cuestión.