HOGWILD!: Uma Abordagem Sem Bloqueio para Paralelizar o Gradiente Estocástico Descendente

O Gradiente Estocástico Descendente (SGD) é um algoritmo popular que pode alcançar desempenho de ponta em uma variedade de tarefas de aprendizado de máquina. Vários pesquisadores propuseram recentemente esquemas para paralelizar o SGD, mas todos exigem bloqueio de memória e sincronização que destroem o desempenho. Este trabalho visa mostrar, utilizando uma nova análise teórica, algoritmos e implementação, que o SGD pode ser implementado sem nenhum bloqueio. Apresentamos um esquema de atualização chamado HOGWILD! que permite aos processadores acessarem a memória compartilhada com a possibilidade de sobrescrever o trabalho um do outro. Mostramos que, quando o problema de otimização associado é esparso, o que significa que a maioria das atualizações de gradiente modifica apenas pequenas partes da variável de decisão, HOGWILD! alcança uma taxa de convergência quase ótima. Demonstramos experimentalmente que HOGWILD! supera esquemas alternativos que usam bloqueio por uma ordem de magnitude.