Regularização e Poda Bayesiana Usando um Priori de Laplace

As técnicas padrão para melhorar a generalização de redes neurais incluem a decadência de peso e a poda. A decadência de peso tem uma interpretação bayesiana, onde a função de decadência corresponde a um priori sobre os pesos. O método de grupos de transformação e máxima entropia sugere um priori de Laplace em vez de um priori gaussiano. Após o treinamento, os pesos se organizam em duas classes: (1) aqueles com uma sensibilidade comum ao erro dos dados e (2) aqueles que falham em atingir essa sensibilidade e, portanto, desaparecem. Como o valor crítico é determinado adaptativamente durante o treinamento, a poda — no sentido de definir pesos como zeros exatos — torna-se uma consequência automática da regularização sozinha. A contagem de parâmetros livres também é reduzida automaticamente à medida que os pesos são podados. Uma comparação é feita com os resultados de MacKay usando a estrutura de evidência e um regularizador gaussiano.