Rede Maxout Normalizada em Lote na Rede

Este artigo relata uma nova arquitetura profunda referida como Rede Maxout na Rede (MIN), que pode aumentar a discriminabilidade do modelo e facilitar o processo de abstração de informações dentro do campo receptivo. A rede proposta adota a estrutura recentemente desenvolvida de Rede na Rede, que desliza um aproximador universal, perceptron multicamada (MLP) com unidades retificadoras, para extrair características. Em vez de MLP, empregamos MLP maxout para aprender uma variedade de funções de ativação linear por partes e mediar o problema dos gradientes que desaparecem que pode ocorrer ao usar unidades retificadoras. Além disso, a normalização em lote é aplicada para reduzir a saturação das unidades maxout, pré-condicionando o modelo, e o dropout é aplicado para prevenir overfitting. Por fim, a pooling média é utilizada em todas as camadas de pooling para regularizar o MLP maxout a fim de facilitar a abstração de informações em cada campo receptivo, tolerando a mudança de posição do objeto. Como a pooling média preserva todas as características no patch local, o modelo MIN proposto pode impor a supressão de informações irrelevantes durante o treinamento. Nossos experimentos demonstraram o desempenho de classificação de última geração quando o modelo MIN foi aplicado aos conjuntos de dados MNIST, CIFAR-10 e CIFAR-100 e desempenho comparável para o conjunto de dados SVHN.