Caractérisation des règles symboliques intégrées dans les réseaux DIMLP profonds : Un défi pour la transparence de l'apprentissage profond

Résumé L'extraction de règles des réseaux de neurones est un sujet de recherche fervent. Au cours des 20 dernières années, de nombreux auteurs ont présenté un certain nombre de techniques montrant comment extraire des règles symboliques des perceptrons multicouches (MLP). Néanmoins, très peu étaient liés à des ensembles de réseaux de neurones et encore moins à des réseaux entraînés par apprentissage profond. Sur plusieurs ensembles de données, nous avons effectué une extraction de règles à partir d'ensembles de perceptrons multicouches interprétables discrétisés (DIMLP) et de DIMLP entraînés par apprentissage profond. Les résultats obtenus sur l'ensemble de données de la thyroïde et sur l'ensemble de données sur le cancer du sein de Wisconsin montrent que la précision prédictive des règles extraites se compare très favorablement aux résultats à la pointe de la recherche. Enfin, dans le dernier problème de classification sur la reconnaissance de chiffres, les règles générées à partir de l'ensemble de données MNIST peuvent être considérées comme des caractéristiques discriminatoires dans des zones de chiffres particulières. Qualitativement, en ce qui concerne la complexité des règles en termes de nombre de règles générées et de nombre d'antécédents par règle, les DIMLP profonds et les DIMLP entraînés par arcing donnent des résultats similaires sur un problème de classification binaire impliquant les chiffres 5 et 8. Dans l'ensemble du problème MNIST, nous avons montré qu'il est possible de déterminer les détecteurs de caractéristiques créés par les réseaux de neurones et également que la complexité des ensembles de règles extraites peut être bien équilibrée entre précision et interprétabilité.