AMQ: Habilitando AutoML para Quantização de Pesos Apenas em Precisão Mista de Grandes Modelos de Linguagem

Para permitir uma implantação mais ampla de Grandes Modelos de Linguagem (LLMs), é essencial identificar o modelo com melhor desempenho sob estritas restrições de memória. Apresentamos o AMQ, Quantização Automatizada de Pesos Apenas em Precisão Mista, uma estrutura que atribui largura de bits de quantização por camada para equilibrar otimizadamente a qualidade do modelo e o uso de memória. No entanto, o espaço de busca combinatória, com mais de 10^100 configurações possíveis, torna a otimização convencional de caixa-preta inviável. O AMQ supera esse desafio através de quatro inovações-chave: (1) poda do espaço de busca usando conhecimento prévio para excluir configurações pouco promissoras, (2) proxy de quantização para evitar conversões de formato custosas durante a busca, (3) preditor de qualidade para minimizar sobrecarga de avaliação, e (4) estratégia de busca e atualização iterativa para uma convergência rápida e estável. Ao integrar esses componentes, o AMQ explora eficientemente o cenário de qualidade-eficiência, alcançando a fronteira de Pareto e gerando LLMs que são compactos e de alto desempenho. Nosso código está disponível em https: //github. com/dlwns147/amq.