Esquecimento catastrófico e colapso de modo em GANs

Neste artigo, mostramos que Redes Geradoras Adversariais (GANs) sofrem de esquecimento catastrófico mesmo quando são treinadas para aproximar uma única distribuição-alvo. Mostramos que o treinamento de GAN é um problema de aprendizado contínuo no qual a sequência de mudanças nas distribuições do modelo é a sequência de tarefas para o discriminador. O nível de desajuste entre as tarefas na sequência determina o nível de esquecimento. O esquecimento catastrófico está inter-relacionado com o colapso de modo e pode tornar o treinamento de GANs não-convergente. Investigamos a paisagem da saída do discriminador em diferentes variantes de GANs e descobrimos que, quando um GAN converge para um bom equilíbrio, os pontos de dados de treinamento reais são máximos locais amplos do discriminador. Mostramos empiricamente a relação entre a acuidade dos máximos locais e o colapso de modo e a generalização em GANs. Mostramos como o esquecimento catastrófico impede que o discriminador torne os pontos de dados reais máximos locais, e, assim, causa não-convergência. Finalmente, estudamos métodos para prevenir o esquecimento catastrófico em GANs.