Uma Avaliação Multidimensional dos Métodos de Adaptação de Tokenizers para Grandes Modelos de Linguagem em Russo

Resumo Grandes modelos de linguagem (LLMs) pré-treinados em corpora centrados no inglês apresentam vieses e têm um desempenho subótimo em outras línguas naturais. A adaptação do vocabulário dos LLMs fornece uma maneira eficiente em termos de recursos para melhorar a qualidade de um modelo pré-treinado. As técnicas de adaptação propostas anteriormente focam em medidas de desempenho (precisão) e tamanho (fertilidade), ignorando outros aspectos em comparação, como latência de inferência, recursos computacionais para adaptação e esquecimento catastrófico. Este artigo preenche essa lacuna ao fazer uma comparação multidimensional de várias técnicas de adaptação de tokenizers para um LLM baseado em decodificadores fixos. Em nossos experimentos, focamos apenas no russo para maior clareza dos resultados nas circunstâncias de recursos limitados. Em condições controladas, comparamos três métodos. O trabalho estabelece novas linhas de base para a adaptação de tokenizers em russo e demonstra uma maneira computacionalmente eficaz de aumentar o desempenho, reduzindo horas de GPU em até 2 a 3 vezes.