Aproximação Laplace Generalizada

Nos últimos anos, a inconsistência no aprendizado profundo bayesiano tem atraído crescente atenção. Distribuições posteriores temperadas ou generalizadas frequentemente oferecem uma solução direta e eficaz para esse problema. No entanto, compreender as causas subjacentes e avaliar a eficácia dos posteriores generalizados continuam a ser áreas ativas de pesquisa. Neste estudo, introduzimos uma estrutura teórica unificada para atribuir a inconsistência bayesiana à especificação incorreta do modelo e aos priors inadequados. Interpretamos a generalização do posterior com um fator de temperatura como uma correção para modelos especificados incorretamente por meio de ajustes ao modelo de probabilidade conjunta, e a recalibração de priors redistribuindo a massa de probabilidade sobre modelos dentro do espaço de hipótese usando amostras de dados. Além disso, destacamos uma característica distintiva da aproximação de Laplace, que garante que a constante normalizadora generalizada pode ser tratada como invariante, ao contrário do cenário típico no aprendizado bayesiano geral, onde essa constante varia com os parâmetros do modelo após a generalização. Com base nesse entendimento, propomos a aproximação Laplace generalizada, que envolve um ajuste simples no cálculo da matriz Hessiana da função de perda regularizada. Este método oferece uma estrutura flexível e escalável para a obtenção de distribuições posteriores de alta qualidade. Avaliamos o desempenho e as propriedades da aproximação Laplace generalizada em redes neurais de última geração e conjuntos de dados do mundo real.