December 9, 2009Epidemiology5,085 citationsOpen Access
Évaluation des performances des modèles de prédiction
View Full Paper
Key Points
- Définir le rôle et l'utilité des métriques traditionnelles, nouvelles et décisionnelles dans l'évaluation des performances des modèles de prédiction clinique.
- Évaluation des mesures de performance traditionnelles (score de Brier, statistique de concordance/courbe ROC, calibration de bonté d'ajustement) aux côtés de nouvelles métriques (statistiques c de survie, amélioration nette de la reclassification [NRI], amélioration intégrée de la discrimination [IDI] et courbes de décision).
- Applications des métriques de performance démontrées à l'aide d'une étude de cas sur le cancer testiculaire prédisant la tumeur résiduelle par rapport au tissu bénin (n=544 pour le développement du modèle, n=273 pour la validation externe).
- L'évaluation et le rapport sur la discrimination (distinction entre les résultats) et la calibration (accord entre les risques prévus et observés) demeurent des exigences essentielles pour chaque modèle de prédiction.
- Les mesures décisionnelles, y compris les courbes de décision évaluant le bénéfice net, sont nécessaires chaque fois que les modèles sont destinés à guider la prise de décision clinique.
- Les nouvelles métriques de reclassification telles que le NRI et l'IDI offrent une valeur spécifique lors de l'évaluation du gain prédictif incrémental de l'ajout de nouveaux biomarqueurs ou variables à des modèles établis.
Abstract
La performance des modèles de prédiction peut être évaluée à l'aide de diverses méthodes et métriques. Les mesures traditionnelles pour les résultats binaires et de survie incluent le score de Brier pour indiquer la performance globale du modèle, la statistique de concordance (ou c) pour la capacité discriminatoire (ou l'aire sous la courbe caractéristique du receveur ROC), et les statistiques de bonté d'ajustement pour la calibration. Plusieurs nouvelles mesures ont récemment été proposées, qui peuvent être considérées comme des améliorations des mesures de discrimination, y compris des variantes de la statistique c pour la survie, des tableaux de reclassification, l'amélioration nette de la reclassification (NRI), et l'amélioration intégrée de la discrimination (IDI). De plus, des mesures décisionnelles ont été proposées, y compris des courbes de décision pour tracer le bénéfice net obtenu en prenant des décisions basées sur les prédictions du modèle. Nous visons à définir le rôle de ces approches relativement nouvelles dans l'évaluation des performances des modèles de prédiction. À titre d'illustration, nous présentons une étude de cas sur la prédiction de la présence de tumeur résiduelle par rapport au tissu bénin chez des patients atteints de cancer testiculaire (n = 544 pour le développement du modèle, n = 273 pour la validation externe). Nous suggérons que le rapport sur la discrimination et la calibration sera toujours important pour un modèle de prédiction. Les mesures décisionnelles doivent être rapportées si le modèle prédictif doit être utilisé pour des décisions cliniques. D'autres mesures de performance peuvent être justifiées dans des applications spécifiques, telles que les métriques de reclassification pour obtenir un aperçu de la valeur d'ajouter un predictteur nouveau à un modèle établi.