Predicción a través de Mezcla de Modelos Ortogonalizados

En este artículo presentamos un enfoque y algoritmos para la mezcla de modelos en grandes problemas de predicción con predictores correlacionados. Nos centramos en la elección de predictores en modelos lineales y mezclamos sobre posibles subconjuntos de predictores candidatos. Nuestro enfoque se basa en expresar el espacio de modelos en términos de una ortogonalización de la matriz de diseño. Las ventajas son tanto estadísticas como computacionales. Estadísticamente, la ortogonalización a menudo conduce a una reducción en el número de modelos competidores al eliminar correlaciones. Computacionalmente, los grandes espacios de modelos no pueden ser enumerados; los enfoques recientes se basan en muestrear modelos con alta probabilidad posterior a través de cadenas de Markov. Basado en la ortogonalización del espacio de predictores candidatos, podemos aproximar las probabilidades posteriores de los modelos mediante productos de términos específicos de los predictores. Esto conduce a una función de muestreo de importancia para muestrear directamente de la distribución conjunta sobre el espacio del modelo, sin recurrir a cadenas de Markov. Comp...