Uma abordagem probabilística para a compreensão e treinamento de classificadores de redes neurais

Mostra-se que o treinamento de uma rede neural utilizando um critério de erro quadrático médio fornece saídas da rede que aproximam as probabilidades de classes posteriores. Com base nessa interpretação probabilística da operação da rede, são investigados critérios de treinamento teórico da informação, como a máxima informação mútua e a medida de Kullback-Leibler. Demonstra-se que ambos os critérios são equivalentes à estimação de máxima verossimilhança (MLE) dos parâmetros da rede. A MLE de uma rede permite a comparação de modelos de rede utilizando o critério de informação de Akaike e o critério de comprimento de descrição mínima.