Kann man seinen Erklärungen vertrauen? Ein Robustheitstest für Merkmalszuordnungs-Methoden

Der Anstieg der legislativen Bedenken hinsichtlich der Nutzung von Künstlicher Intelligenz (KI) hat kürzlich zu einer Reihe von Vorschriften geführt, die auf eine transparentere, vertrauenswürdigere und verantwortungsvollere KI abzielen. Neben diesen Vorschlägen hat das Gebiet der erklärbaren KI (XAI) ein schnelles Wachstum erlebt, aber die Anwendung ihrer Techniken hat manchmal zu unerwarteten Ergebnissen geführt. Die Robustheit der Ansätze ist in der Tat eine oft übersehene Schlüssel-Eigenschaft: Es ist notwendig, die Stabilität einer Erklärung (gegenüber zufälligen und adversarialen Störungen) zu evaluieren, um sicherzustellen, dass die Ergebnisse vertrauenswürdig sind. Zu diesem Zweck schlagen wir einen Test vor, um die Robustheit gegenüber nicht-adversarialen Störungen zu bewerten und einen Ensembleansatz, um die Robustheit von XAI-Methoden, die auf neuronale Netze und tabellarische Datensätze angewendet werden, eingehender zu analysieren. Wir werden zeigen, wie die Nutzung von Mannigfaltigkeitshypothesen und Ensembleansätzen vorteilhaft für eine eingehende Analyse der Robustheit sein kann.