Compétence artificielle due au filtrage des prédicteurs

Cet article montre que si les prédicteurs sont sélectionnés de préférence en raison de leur forte corrélation avec une variable de prédiction, alors les méthodes standards pour valider les modèles de prédiction dérivés de ces prédicteurs seront biaisées. Ce biais est démontré en filtrant des nombres aléatoires et en montrant que les modèles de régression dérivés de ces nombres aléatoires ont une compétence apparente, dans un sens de validation croisée, même si les prédicteurs ne peuvent avoir la moindre utilité prédictive. Ce résultat semble impliquer que les nombres aléatoires peuvent fournir des prévisions utiles, puisque l'échantillon à prédire est séparé de l'échantillon utilisé pour estimer le modèle de régression. La résolution de ce paradoxe est qu'avant la validation croisée, toutes les données avaient été utilisées pour évaluer les corrélations en vue de sélectionner les prédicteurs. Cette situation diffère des prévisions en temps réel en ce sens que l'échantillon futur n'est pas disponible pour le filtrage. Ces résultats clarifient la fallacie qui consiste à supposer que si un modèle fonctionne bien en mode de validation croisée, alors il fonctionnera bien dans les prévisions en temps réel. Ce biais semble affecter plusieurs schémas de prévision qui ont été proposés dans la littérature, y compris les prévisions opérationnelles des précipitations de la mousson indienne et le nombre d'ouragans de l'Atlantique. La compétence validée croisée de ces modèles ne serait probablement pas distinguable de celle d'un modèle sans compétence si un filtrage préalable était pris en compte.