Melhoria da Capacidade de Generalização de CNNs Profundas via Regularização Implícita no Processo de Treinamento em Duas Fases

A otimização do aprendizado profundo não é mais um problema iminente, devido a vários métodos de descida de gradiente e às melhorias na estrutura da rede, incluindo funções de ativação, estilo de conectividade, entre outros. Então, a aplicação real depende da capacidade de generalização, que determina se uma rede é efetiva. A regularização é uma maneira eficiente de melhorar a capacidade de generalização de CNNs profundas, pois possibilita o treinamento de modelos mais complexos enquanto mantém um menor overfitting. Neste artigo, propomos otimizar o limite de recursos da CNN profunda através de um método de treinamento em duas fases (processo de pré-treinamento e processo de treinamento com regularização implícita) para reduzir o problema de overfitting. Na fase de pré-treinamento, treinamos um modelo de rede para extrair a representação da imagem para detecção de anomalias. Na fase de treinamento com regularização implícita, re-treinamos a rede com base nos resultados da detecção de anomalias para regularizar o limite de recursos e fazê-lo convergir na posição adequada. Resultados experimentais em cinco benchmarks de classificação de imagem mostram que o método de treinamento em duas fases alcança um desempenho de ponta e que, em conjunto com um algoritmo de detecção de anomalias mais complexo, obtém melhores resultados. Finalmente, usamos uma variedade de estratégias para explorar e analisar como a regularização implícita desempenha um papel no processo de treinamento em duas fases. Além disso, explicamos como a regularização implícita pode ser interpretada como aumento de dados e conjunto de modelos.