Revisitando o Esquecimento Cataclísmico no Ajuste de Modelos de Linguagem Grande

O Esquecimento Cataclísmico (EC) significa que modelos esquecem conhecimentos adquiridos anteriormente ao aprender novos dados. Isso compromete a eficácia dos modelos de linguagem grandes (MLGs) durante o ajuste fino, no entanto, as causas subjacentes não foram investigadas de forma abrangente. Este artigo dá o primeiro passo para revelar a ligação direta entre a planicidade da paisagem de perda do modelo e a extensão do EC no campo dos MLGs. Com base nisso, introduzimos a minimização consciente da nitidez para mitigar o EC ao achatar a paisagem de perda. Experimentos em três conjuntos de dados de ajuste fino amplamente utilizados, abrangendo diferentes escalas de modelo, demonstram a eficácia do nosso método na redução do EC. Análises mostram que complementamos bem as estratégias de anti-esquecimento existentes, aumentando ainda mais a resistência dos MLGs ao EC.