Key points are not available for this paper at this time.
Nos últimos 5 anos, a competição ILSVRC e o conjunto de dados ImageNet atraíram muito interesse da comunidade de Visão Computacional, permitindo que a precisão de ponta crescesse enormemente. Isso deve ser creditado ao uso de designs de redes neurais artificiais profundas. À medida que se tornaram mais complexas, os requisitos de armazenamento, largura de banda e computação aumentaram. Isso significa que, com uma abordagem não distribuída, mesmo ao usar o servidor de maior densidade disponível, o processo de treinamento pode levar semanas, tornando-o proibitivo. Além disso, à medida que os conjuntos de dados crescem, o potencial de aprendizado de representação das redes profundas também cresce, utilizando modelos mais complexos. Essa sincronicidade provoca um aumento acentuado nos requisitos computacionais e nos motiva a explorar o comportamento de escalonamento em supercomputadores de escala petaflop. Neste artigo, descreveremos os desafios e as soluções novas necessárias para treinar o ResNet-50 nesse ambiente de grande escala. Demonstramos uma eficiência de escalonamento acima de 90\% e um tempo de treinamento de 28 minutos usando até 104K núcleos x86. Isso é suportado por ferramentas de software do ecossistema da Intel. Além disso, mostramos que com execuções de treinamento regulares de 90 a 120 épocas podemos alcançar uma precisão top-1 tão alta quanto 77\% para a topologia ResNet-50 não modificada. Também introduzimos a nova técnica Collapsed Ensemble (CE) que nos permite obter uma precisão top-1 de 77,5\%, semelhante à de uma ResNet-152, enquanto treinamos uma topologia ResNet-50 não modificada para o mesmo orçamento fixo de treinamento. Todos os modelos ResNet-50, bem como os scripts necessários para replicá-los, serão postados em breve.
Codreanu et al. (Sun,) estudaram essa questão.