O Gradiente é Tudo que Você Precisa? Como a Otimização Baseada em Consenso Pode ser Interpretada como uma Relaxação Estocástica do Gradiente Descendente

Neste artigo, oferecemos uma nova perspectiva analítica sobre a compreensão teórica de algoritmos de aprendizado baseados em gradiente, interpretando a otimização baseada em consenso (CBO), um método de otimização sem derivadas recentemente proposto, como uma relaxação estocástica do gradiente descendente. Remarkavelmente, observamos que, através da comunicação das partículas, a CBO exibe um comportamento semelhante ao gradiente descendente estocástico (SGD), apesar de depender exclusivamente de avaliações da função objetivo. O valor fundamental desse vínculo entre CBO e SGD reside no fato de que a CBO é comprovadamente globalmente convergente a minimizadores globais para amplas classes de funções objetivo não suaves e não convexas. Assim, de um lado, oferecemos uma nova explicação para o sucesso das relaxações estocásticas do gradiente descendente, fornecendo insights úteis e precisos que explicam como perturbações estocásticas do gradiente descendente adaptadas ao problema (como as induzidas pela CBO) superam barreiras de energia e alcançam níveis profundos de funções não convexas. Por outro lado, e ao contrário da sabedoria convencional, que sugere que métodos sem derivadas devem ser ineficientes ou não possuir habilidades de generalização, nossos resultados revelam uma natureza intrínseca de gradiente descendente das heurísticas. Ilustrações numéricas instrutivas apoiam os insights teóricos fornecidos.