Extração Eficiente de Mistura de Especialistas Guiada por Dados a partir de Redes Treinadas

Transformadores de Visão emergiram como os modelos de ponta em várias tarefas de Visão Computacional, mas suas altas demandas computacionais e de recursos representam desafios significativos. Embora a Mistura de Especialistas (MoE) possa tornar esses modelos mais eficientes, frequentemente exigem retrainamento caro ou até treinamento do zero. Desenvolvimentos recentes visam reduzir esses custos computacionais ao aproveitar redes pré-treinadas. Está demonstrado que elas produzem padrões de ativação esparsos nas Perceptrons de Múltiplas Camadas (MLPs) dos blocos codificadores, permitindo a ativação condicional apenas das sub-redes relevantes para cada amostra. Com base nessa ideia, propomos um novo método para construir variantes de MoE a partir de modelos pré-treinados. Nossa abordagem extrai sub-redes especializadas das camadas MLP do modelo após o treinamento em duas fases. Primeiro, agrupamos as ativações de saída para identificar padrões de ativação distintos. Na segunda fase, usamos esses agrupamentos para extrair as sub-redes correspondentes responsáveis por produzi-los. Em tarefas de reconhecimento no ImageNet-1k, demonstramos que esses especialistas extraídos podem ter um desempenho surpreendentemente bom assim que são ativados e requerem apenas um ajuste fino mínimo para recuperar 98% da performance original, tudo isso enquanto reduzem os MACs e o tamanho do modelo, em até 36% e 32% respectivamente.