Convergência Global de Otimização Descentralizada Livre de Retração na Manifold de Stiefel

Muitos algoritmos clássicos e modernos de aprendizado de máquina requerem a resolução de tarefas de otimização sob restrições ortogonais. Resolver essas tarefas muitas vezes requer o cálculo de atualizações de gradiente baseadas em retração na manifold Riemanniana correspondente, o que pode ser computacionalmente caro. Recentemente, Ablin et al. propuseram um algoritmo livre de retração inviável, que é significativamente mais eficiente. Neste artigo, estudamos a tarefa de otimização não convexa descentralizada em uma rede de agentes na manifold de Stiefel com atualizações livres de retração. Propomos o algoritmo Decentralized Retraction-Free Gradient Tracking (DRFGT) e mostramos que o DRFGT apresenta uma taxa de convergência ergódica O(1/K), a mesma taxa de convergência que os métodos centralizados baseados em retração. Também apresentamos experimentos numéricos demonstrando que o DRFGT é equivalente aos métodos de estado da arte baseados em retração com uma redução substancial na sobrecarga computacional.