StAR: ein einfaches Werkzeug für den statistischen Vergleich von ROC-Kurven

HINTERGRUND: Wie in vielen verschiedenen Bereichen der Wissenschaft und Technologie beruhen die wichtigsten Probleme in der Bioinformatik auf der ordnungsgemäßen Entwicklung und Bewertung von binären Klassifikatoren. Eine allgemeine Bewertung der Leistung binärer Klassifikatoren erfolgt typischerweise durch die Analyse ihrer Empfangsbetriebsmerkmale (ROC) Kurven. Die Fläche unter der ROC-Kurve (AUC) ist ein beliebter Indikator für die Leistung eines binären Klassifikators. Die Bewertung der statistischen Signifikanz des Unterschieds zwischen zwei Klassifikatoren auf der Grundlage dieses Maßes ist jedoch keine einfache Aufgabe, da nicht viele kostenlos verfügbare Werkzeuge existieren. Die meisten vorhandenen Softwarelösungen sind entweder nicht kostenlos, schwer zu bedienen oder nicht einfach zu automatisieren, wenn eine vergleichende Bewertung der Leistung vieler binärer Klassifikatoren beabsichtigt ist. Dies stellt das typische Szenario für die Optimierung von Parametern bei der Entwicklung neuer Klassifikatoren und auch für deren Leistungsvalidierung durch den Vergleich mit vorherigen Arbeiten dar. ERGEBNISSE: In dieser Arbeit beschreiben und veröffentlichen wir neue Software zur Bewertung der statistischen Signifikanz des beobachteten Unterschieds zwischen den AUCs beliebiger zwei Klassifikatoren für eine gemeinsame Aufgabe, die aus gepaarten oder ungepaarten balancierten Daten geschätzt wird. Die Software ist in der Lage, einen paarweisen Vergleich vieler Klassifikatoren in einem einzigen Durchgang durchzuführen, ohne dass Experten- oder Fachwissen erforderlich ist, um sie zu verwenden. Die Software basiert auf einem nichtparametrischen Test für den Unterschied der AUCs, der die Korrelation der ROC-Kurven berücksichtigt. Die Ergebnisse werden grafisch dargestellt und können vom Benutzer leicht angepasst werden. Ein menschenlesbarer Bericht wird generiert und die vollständigen Daten, die aus der Analyse resultieren, sind ebenfalls zum Download verfügbar, was für weitere Analysen mit anderer Software verwendet werden kann. Die Software wird als Webserver veröffentlicht, der auf jeder Client-Plattform verwendet werden kann, sowie alsStandalone-Anwendung für das Linux-Betriebssystem. SCHLUSSFOLGERUNG: Eine neue Software für den statistischen Vergleich von ROC-Kurven wird hier als Webserver und auch als Standalone-Software für das LINUX-Betriebssystem veröffentlicht.