Statistisches Verhalten und Konsistenz von Klassifikationsmethoden basierend auf konvexer Risikominimierung

Wir untersuchen, wie eng die optimale Bayes-Fehlerrate annähernd erreicht werden kann, indem ein Klassifikationsalgorithmus eingesetzt wird, der einen Klassifikator berechnet, indem eine konvexe obere Schranke der Klassifikationsfehlfunktion minimiert wird. Das Maß für die Nähe wird durch die in der Schätzung verwendete Verlustfunktion charakterisiert. Wir zeigen, dass ein solches Klassifikationsschema allgemein als eine (nicht maximal-likelihood) bedingte Klassenwahrscheinlichkeitsabschätzung angesehen werden kann, und verwenden diese Analyse, um verschiedene konvexe Verlustfunktionen zu vergleichen, die in der Literatur erschienen sind. Darüber hinaus erlaubt uns die theoretische Einsicht, gute Verlustfunktionen mit wünschenswerten Eigenschaften zu gestalten. Ein weiterer Aspekt unserer Analyse besteht darin, die Konsistenz bestimmter Klassifikationsmethoden unter Verwendung der konvexen Risikominimierung zu demonstrieren. Diese Studie beleuchtet die gute Leistung einiger kürzlich vorgeschlagener linearer Klassifikationsmethoden, einschließlich Boosting und Support Vector Machines. Sie zeigt auch ihre Einschränkungen und schlägt mögliche Verbesserungen vor.