Viés de Simplicidade em Aprendizado de Máquina Sobreparametrizado

Uma compreensão teórica aprofundada da surpreendente capacidade de generalização de redes profundas (e outros modelos sobreparametrizados) ainda está faltando. Aqui demonstramos que o viés de simplicidade é um fenômeno importante a ser considerado no aprendizado de máquina sobreparametrizado. Além de explicar o resultado do viés de simplicidade, também estudamos sua fonte: seguindo exemplos concretos e rigorosos, argumentamos que (i) o viés de simplicidade pode explicar a generalização em modelos de aprendizado sobreparametrizados, como redes neurais; (ii) o viés de simplicidade e a excelente generalização são independentes do otimizador, como nosso exemplo mostra, e embora o otimizador afete o treinamento, ele não é a força motriz por trás do viés de simplicidade; (iii) o viés de simplicidade em modelos de pré-treinamento, e os posteriores subsequentes, é universal e decorre do sutil fato de que priors construídos uniformemente ao acaso não são amostrados uniformemente ao acaso; e (iv) em modelos de redes neurais, o mecanismo de viés em redes largas (e rasas) é diferente do mecanismo de viés em redes profundas (e estreitas).