Précision des estimations liées à la ROC dans de petits échantillons

MOTIVATION : Les courbes caractéristiques du récepteur (ROC) sont couramment utilisées dans les applications biomédicales pour évaluer la performance d'un discriminant à différents seuils de décision. La courbe ROC estimée dépend du taux de vrais positifs (TPR) et du taux de faux positifs (FPR), le métrique clé étant l'aire sous la courbe (AUC). Avec de petits échantillons, ces taux doivent être estimés à partir des données d'entraînement, d'où une question naturelle : dans quelle mesure les estimations de l'AUC, du TPR et du FPR se comparent-elles aux véritables métriques ? RÉSULTATS : À travers une étude de simulation utilisant des modèles de données et une analyse de données de microarrays réelles, nous montrons que (i) pour de petits échantillons, les différences quadratiques moyennes entre les métriques estimées et vraies sont considérables ; (ii) même pour des échantillons importants, il n'y a qu'une faible corrélation entre les véritables et les métriques estimées ; et (iii) en général, il y a une faible régression de la métrique vraie sur la métrique estimée. Pour les règles de classification, nous considérons l'analyse discriminante linéaire, les machines à vecteurs de support linéaires (SVM) et les SVM à fonction de base radiale. Pour l'estimation d'erreur, nous considérons la resubstitution, trois types de validation croisée et le bootstrap. En utilisant le rééchantillonnage, nous montrons l'incertitude de certains résultats ROC publiés. DISPONIBILITÉ : Site web compagnon à http://compbio.tgen.org/paperₛupp/ROC/roc.html CONTACT : edward@mail.ece.tamu.edu.