Uma Conexão Entre Correspondência de Pontuação e Autoencoders de Denoise

Autoencoders de denoise têm sido anteriormente mostrados como alternativas competitivas às máquinas de Boltzmann restritas para pré-treinamento não supervisionado de cada camada de uma arquitetura profunda. Nós mostramos que um critério de treinamento simples de autoencoder de denoise é equivalente a igualar a pontuação (com relação aos dados) de um modelo específico baseado em energia à de um estimador de densidade Parzen não paramétrico dos dados. Isso traz várias percepções úteis. Define um modelo probabilístico apropriado para a técnica de autoencoder de denoise, o que torna, em princípio, possível amostrar a partir deles ou classificar exemplos por sua energia. Sugere uma maneira diferente de aplicar correspondência de pontuação que está relacionada ao aprendizado de denoise e não requer o cálculo de segundas derivadas. Justifica o uso de pesos conectados entre o codificador e o decodificador e sugere maneiras de estender o sucesso dos autoencoders de denoise a uma família maior de modelos baseados em energia.