Generalizando Funções de Pooling em Redes Neurais Convolucionais: Misturadas, Controladas e em Árvore

Buscamos melhorar redes neurais profundas ao generalizar as operações de pooling que desempenham um papel central nas arquiteturas atuais. Realizamos uma exploração cuidadosa de abordagens para permitir que o pooling aprenda e se adapte a padrões complexos e variáveis. As duas principais direções estão em (1) aprender uma função de pooling através da combinação de max e average pooling (duas estratégias) e (2) aprender uma função de pooling na forma de uma fusão em árvore de filtros de pooling que também são aprendidos. Em nossos experimentos, cada operação de pooling generalizada que exploramos melhora o desempenho quando usada no lugar de average ou max pooling. Demonstramos experimentalmente que as operações de pooling propostas oferecem um aumento nas propriedades de invariância em relação ao pooling convencional e estabelecem o estado da arte em vários conjuntos de dados de referência amplamente adotados; além disso, são fáceis de implementar e podem ser aplicadas em várias arquiteturas de redes neurais profundas. Esses benefícios vêm com apenas um leve aumento na sobrecarga computacional durante o treinamento e um aumento muito modesto no número de parâmetros do modelo.