La estimación del error de predicción

Habiendo construido una regla de estimación basada en datos, quizás una regresión logística o un árbol de clasificación, al estadístico le gustaría conocer su rendimiento como predictor de casos futuros. Existen dos teorías principales acerca del error de predicción: (1) métodos de penalización como Cp, el criterio de información de Akaike y la estimación de riesgo imparcial de Stein que dependen de la covarianza entre los puntos de datos y sus predicciones correspondientes; y (2) validación cruzada y técnicas de bootstrap no paramétricas relacionadas. Este artículo se refiere a la conexión entre las dos teorías. Se deriva una relación del tipo Rao-Blackwell en la que los métodos no paramétricos como la validación cruzada se ven como versiones aleatorizadas de sus contrapartes de penalización por covarianza. Los métodos de penalización basados en modelos ofrecen una precisión sustancialmente mejor, asumiendo que el modelo es creíble.