Ensembles de prévisions surajustées et trop confiantes

Les entreprises d'aujourd'hui moyennent les prévisions collectées auprès de plusieurs experts et modèles. En raison de biais cognitifs, d'incitations stratégiques ou de la structure des algorithmes d'apprentissage automatique, ces prévisions sont souvent surajustées aux données d'échantillon et sont trop confiantes. On sait peu de choses sur les défis associés à l'agrégation de telles prévisions. Nous introduisons un modèle théorique pour examiner l'effet combiné de l'overfitting et de l'overconfidence sur la prévision moyenne. Leur effet combiné est que les prévisions de probabilité moyenne et médiane sont mal calibrées avec des taux de succès de leurs intervalles de prédiction trop élevés et trop bas, respectivement. Par conséquent, nous prescrivons l'utilisation d'une moyenne tronquée, ou d'un pool d'opinion tronqué, pour obtenir une meilleure calibration. Nous identifions la forêt aléatoire, un algorithme d'apprentissage automatique de premier plan qui regroupe des centaines d'arbres de régression surajustés et trop confiants, comme un environnement idéal pour tronquer les probabilités. En utilisant plusieurs ensembles de données connus, nous démontrons que les ensembles tronqués peuvent améliorer considérablement l'exactitude prédictive de la forêt aléatoire. Cet article a été accepté par James Smith, analyse de décision.