Palma

Cuando una Red Neuronal Profunda comete una predicción incorrecta, puede ser un desafío para un desarrollador entender por qué. Si bien existen muchos modelos para la interpretabilidad en términos de características predictivas, puede ser más natural aislar un pequeño conjunto de ejemplos de entrenamiento que tengan la mayor influencia en la predicción. Sin embargo, a menudo sucede que cada ejemplo de entrenamiento contribuye a una predicción de alguna manera, pero con diferentes grados de responsabilidad. Presentamos el Modelo Local Consciente de Partición (PALM), que es una herramienta que aprende y resume esta estructura de responsabilidad para ayudar en la depuración del aprendizaje automático. PALM aproxima un modelo complejo (por ejemplo, una red neuronal profunda) utilizando un modelo sustitutivo de dos partes: un meta-modelo que particiona los datos de entrenamiento, y un conjunto de sub-modelos que aproximan los patrones dentro de cada partición. Estos sub-modelos pueden ser arbitrariamente complejos para capturar patrones locales intrincados. Sin embargo, el meta-modelo está restringido a ser un árbol de decisiones. De esta manera, el usuario puede examinar la estructura del meta-modelo, determinar si las reglas coinciden con la intuición y vincular ejemplos de prueba problemáticos a datos de entrenamiento responsables de manera eficiente. Las consultas a PALM son casi 30 veces más rápidas que las consultas de vecinos más cercanos para identificar datos relevantes, lo que es una propiedad clave para aplicaciones interactivas.