Modelagem de Regressão Elastic Net Com o Prior Normal Ortogonal

O procedimento de elastic net é uma forma de otimização regularizada para regressão linear que fornece uma ponte entre a regressão ridge e o lasso. A estimativa que produz pode ser vista como um modo posterior bayesiano sob uma distribuição anterior implícita pela forma da penalidade elastic net. Este artigo amplia o escopo da conexão bayesiana ao fornecer uma caracterização completa de uma classe de distribuições anteriores que geram a estimativa elastic net como o modo posterior. O framework baseado em modelo resultante permite uma metodologia que vai além do uso exclusivo do modo posterior, considerando a inferência baseada na distribuição posterior completa. Duas caracterizações da classe de distribuições anteriores são introduzidas: uma caracterização direta e adequadamente normalizada, que se mostra conjugada para modelos de regressão linear, e uma representação alternativa como uma mistura de escala de distribuições normais. Distribuições anteriores são propostas para os parâmetros de regularização, resultando em uma mistura infinita de modelos de regressão elastic net que permite um encolhimento adaptativo, baseado em dados, dos coeficientes de regressão. A inferência posterior é facilmente alcançada usando métodos de Cadeia de Markov Monte Carlo (MCMC). A incerteza sobre a especificação do modelo é abordada de uma perspectiva bayesiana, atribuindo probabilidades anteriores a todos os possíveis modelos. Abordagens computacionais correspondentes são descritas. O software para implementar os métodos MCMC descritos neste artigo, escrito em C++ com uma interface de pacote R, está disponível em http://www.stat.osu.edu/~hans/software/.