Compressão de modelo via destilação e quantização

Redes neurais profundas (DNNs) continuam a fazer avanços significativos, resolvendo tarefas desde classificação de imagens até tradução ou aprendizado por reforço. Um aspecto do campo que recebe atenção considerável é a execução eficiente de modelos profundos em ambientes com recursos limitados, como dispositivos móveis ou embarcados. Este artigo foca neste problema e propõe dois novos métodos de compressão, que aproveitam conjuntamente a quantização de pesos e a destilação de redes maiores (professor) em redes menores (aluno). O primeiro método que propomos é chamado de destilação quantizada e aproveita a destilação durante o processo de treinamento, incorporando a perda de destilação, expressa em relação ao professor, ao treinamento de uma rede aluno cujos pesos são quantizados para um conjunto limitado de níveis. O segundo método, quantização diferenciável, otimiza a localização dos pontos de quantização através de descida de gradiente estocástica, para melhor se adequar ao comportamento do modelo professor. Validamos ambos os métodos por meio de experimentos em arquiteturas convolucionais e recorrentes. Mostramos que alunos rasos quantizados podem alcançar níveis de precisão semelhantes aos modelos professores de precisão total, enquanto proporcionam compressão em ordem de magnitude e aceleração de inferência que é linear na redução da profundidade. Em suma, nossos resultados permitem que DNNs para ambientes com recursos limitados aproveitem avanços em arquitetura e precisão desenvolvidos em dispositivos mais poderosos.