Wann ist eine Multikalibrierung-Nachbearbeitung notwendig?

Kalibrierung ist eine gut verstandene Eigenschaft von Prädiktoren, die bedeutungsvolle Unsicherheitsabschätzungen gewährleistet. Multikalibrierung ist ein verwandter Begriff – der aus algorithmischer Fairness stammt – der erfordert, dass Prädiktoren simultan über eine potenziell komplexe und überlappende Sammlung von geschützten Unterpopulationen (wie Gruppen, die durch Ethnie, Rasse oder Einkommen definiert sind) kalibriert sind. Wir führen die erste umfassende Studie durch, die den Nutzen der Multikalibrierung-Nachbearbeitung über eine breite Palette von tabellarischen, Bild- und Sprachdatensätzen für Modelle evaluiert, die von einfachen Entscheidungsbäumen bis hin zu 90 Millionen Parameter feinabgestimmten LLMs reichen. Unsere Ergebnisse lassen sich wie folgt zusammenfassen: (1) Modelle, die direkt einsatzbereit kalibriert sind, tendieren dazu, relativ multikalibriert zu sein, ohne zusätzliche Nachbearbeitung; (2) die Multikalibrierung-Nachbearbeitung kann helfen, von Natur aus unkali- brierte Modelle zu verbessern; und (3) traditionelle Kalibrierungsmaße können manchmal multikalibrierung implizit bieten. Allgemeiner gesagt, destillieren wir auch viele unabhängige Beobachtungen, die für praktische und effektive Anwendungen der Multikalibrierung-Nachbearbeitung in realen Kontexten nützlich sein können.