Programação Bilevel para Otimização de Hiperparâmetros e Meta-Aprendizagem

Apresentamos uma estrutura baseada em programação bilevel que unifica a otimização de hiperparâmetros baseada em gradiente e a meta-aprendizagem. Mostramos que uma versão aproximada do problema bilevel pode ser resolvida levando em consideração explicitamente a dinâmica de otimização para o objetivo interno. Dependendo do cenário específico, as variáveis externas assumem o significado de hiperparâmetros em um problema de aprendizagem supervisionada ou parâmetros de um meta-aprendiz. Fornecemos condições suficientes sob as quais as soluções do problema aproximado convergem para aquelas do problema exato. Nossa abordagem é instanciada para meta-aprendizagem no caso de aprendizagem profunda, onde as camadas de representação são tratadas como hiperparâmetros compartilhados entre um conjunto de episódios de treinamento. Em experimentos, confirmamos nossos achados teóricos, apresentamos resultados encorajadores para aprendizagem com poucos exemplos e comparamos a abordagem bilevel com abordagens clássicas para aprender a aprender.