Teoria de Campo Médio Dinâmica Rigorosa para Métodos de Gradiente Estocástico

. Provamos equações em forma fechada para a assintótica exata de alta dimensão de uma família de métodos baseados em gradiente de primeira ordem, aprendendo um estimador (por exemplo, estimador M, rede neural rasa) a partir de observações em dados gaussianos com minimização de risco empírico. Isso inclui algoritmos amplamente utilizados, como descida de gradiente estocástico (SGD) ou aceleração de Nesterov. As equações obtidas correspondem àquelas resultantes da discretização das equações da teoria de campo médio dinâmico da física estatística quando aplicadas ao fluxo de gradiente correspondente. Nosso método de prova nos permite dar uma descrição explícita de como os kernels de memória se acumulam na dinâmica efetiva e incluir funções de atualização não separáveis, permitindo conjuntos de dados com matrizes de covariância não identidade. Finalmente, fornecemos implementações numéricas das equações para SGD com tamanho de lote extenso genérico e taxas de aprendizado constantes. Palavras-chave: descida de gradiente estocástico, teoria de campo médio dinâmico, condicionamento gaussiano iterativo, códigos MSC 68Q25, 68W99, 60G99, 62J99.