Bewertung menschlicher Modelle im interaktiven überwachten Lernen

Die Modellevaluation spielt eine besondere Rolle in interaktiven maschinellen Lernsystemen (IML), in denen Benutzer auf ihre Einschätzung der Leistung eines Modells angewiesen sind, um zu bestimmen, wie es verbessert werden kann. Ein besseres Verständnis dafür, welche Modellkriterien für die Benutzer wichtig sind, kann daher das Design von Benutzeroberflächen für die Modellevaluation sowie die Auswahl und das Design von Lernalgorithmen informieren. Wir präsentieren Arbeiten, die die Evaluierungspraktiken von Endbenutzern untersuchen, die interaktiv überwachte Lernsysteme für Probleme der Gestenanalyse in der realen Welt aufbauen. Wir untersuchen die Bewertungskriterien der Benutzer, die konventionell relevante Kriterien wie Genauigkeit und Kosten sowie neuartige Kriterien wie Unerwartetheit umfassen. Wir beobachteten, dass Benutzer Evaluierungstechniken anwendeten - darunter Kreuzvalidierung und direkte, Echtzeitevaluierung - nicht nur um relevante Urteile über die Leistung von Algorithmen zu fällen und die trainierten Modelle interaktiv zu verbessern, sondern auch um zu lernen, effektivere Trainingsdaten bereitzustellen. Darüber hinaus beobachteten wir, dass die Evaluierung den Benutzern lehrte, welche Arten von Modellen einfach oder möglich zu bauen waren, und die Benutzer manchmal diese Informationen nutzten, um die Definition des Lernproblems oder ihre Pläne zur praktischen Nutzung der trainierten Modelle zu modifizieren. Wir erörtern die Implikationen dieser Ergebnisse in Bezug auf die Rolle der Generalisierungsgenauigkeit im IML, das Design neuer Algorithmen und Schnittstellen sowie das Spektrum potenzieller Vorteile der Einbeziehung menschlicher Interaktion in das Design überwachter Lernsysteme.