Em Direção à Compreensão do Papel da Superparametrização na Generalização de Redes Neurais

Apesar do trabalho existente para garantir a generalização de redes neurais em termos de medidas de complexidade sensíveis à escala, como normas, margem e nitidez, essas medidas de complexidade não oferecem uma explicação do porquê as redes neurais generalizam melhor com superparametrização. Neste trabalho, sugerimos uma nova medida de complexidade baseada em capacidades unitárias, resultando em um limite de generalização mais rígido para redes ReLU de duas camadas. Nosso limite de capacidade correlaciona-se com o comportamento do erro de teste com o aumento do tamanho da rede e poderia potencialmente explicar a melhoria na generalização com superparametrização. Apresentamos ainda um limite inferior correspondente para a complexidade de Rademacher que melhora os limites inferiores de capacidade anteriores para redes neurais.