Zur Unvermeidbarkeit des Rashomon-Effekts

Der Rashomon-Effekt im maschinellen Lernen (ML) tritt auf, wenn mehrere unterschiedliche Modelle einen ähnlichen durchschnittlichen Verlust bei einer bestimmten Lernaufgabe erzielen. Die Menge aller Modelle mit einem erwarteten Verlust kleiner als ϵ wird als Rashomon-Menge bezeichnet. Die Charakterisierung dieser Menge für eine gegebene Lernaufgabe ermöglicht die Suche nach Modellen, die zusätzliche Einschränkungen (z. B. Interpretierbarkeit, Fairness) erfüllen, ohne die Genauigkeit zu beeinträchtigen. Während die Folklore die Rashomon-Menge als die Sammlung aller unterscheidbaren "guten" Modelle betrachtet, gibt es keine etablierten theoretischen Garantien, dass Modelle in dieser Menge statistisch unterscheidbar sind. Wir schließen diese Lücke, indem wir ein Hypothesentest-Framework vorschlagen, um das bestperformende Modell zwischen zwei Elementen in der Rashomon-Menge auszuwählen und untere und obere Grenzen für die Wahrscheinlichkeit eines Fehlers abzuleiten. Insbesondere beweisen wir, dass für jedes ϵ > 0, wenn der Datensatz weniger als O({{ {log (/ ({1 -) }) }^ - 1}}) Instanzen hat, die Modelle in der Rashomon-Menge statistisch unterscheidbar sind und der Rashomon-Effekt unvermeidlich ist. Darüber hinaus können unsere Grenzen Datenwissenschaftler leiten, ein ϵ zu wählen, das eine Rashomon-Menge generiert, sodass zwei Modelle darin nicht unterscheidbar sind.