SEER-MoE: Eficiência de Especialistas Espalhados através da Regularização para Mistura de Especialistas

O avanço do deep learning levou ao surgimento de modelos de Mistura de Especialistas (MoEs), conhecidos por sua alocação dinâmica de recursos computacionais com base na entrada. Apesar de sua promessa, os MoEs enfrentam desafios, particularmente em termos de requisitos de memória. Para resolver isso, nosso trabalho introduz o SEER-MoE, uma nova estrutura em duas etapas para reduzir tanto a pegada de memória quanto os requisitos de computação dos modelos MoE pré-treinados. A primeira etapa envolve a poda do número total de especialistas usando uma orientação de contagem de grandes contribuintes, enquanto a segunda etapa emprega uma estratégia de ajuste fino baseada em regularização para recuperar a perda de precisão e reduzir o número de especialistas ativados durante a inferência. Nossos estudos empíricos demonstram a eficácia de nosso método, resultando em um modelo de MoEs esparso otimizado para eficiência de inferência com mínimas concessões em precisão.