Uma Abordagem de Congelamento de Camadas Baseada em Semântica para Ajuste Eficiente de Modelos de Linguagem

O ajuste fino de modelos de linguagem (LMs) é crucial para adaptar os modelos a dados e tarefas posteriores. No entanto, o ajuste completo geralmente é caro. Trabalhos existentes, como o ajuste fino eficiente em parâmetros (PEFT), costumam se concentrar em como ajustar, mas negligenciam a questão de onde ajustar. Como um trabalho pioneiro ao responder onde ajustar (no nível da camada), realizamos uma análise semântica do processo de inferência do LM. Primeiro, propomos uma transição virtual da representação latente e, em seguida, rastreamos sua transição factual. Com base na divergência nas transições, estimamos o ganho do ajuste fino de cada camada do modelo e, além disso, restringimos o escopo para o ajuste fino. Realizamos experimentos extensivos em LMs e conjuntos de dados bem conhecidos. Os resultados mostram que nossa abordagem é eficaz e eficiente, superando as linhas de base existentes. Nossa abordagem é ortogonal a técnicas eficientes existentes, como os métodos PEFT, oferecendo valores práticos no ajuste fino de LM.