特定言語LLMの構築におけるデザイン選択の探求

大規模言語モデル（LLMs）の急速な進展にもかかわらず、大多数の言語におけるその性能は満足のいくものではありません。本論文では、一言語および多言語のLLMを適応させることによる言語特化型LLMの構築について研究します。デザイン選択（基本モデルの選択、語彙の拡張、継続的なファインチューニング）が、効率性（同じ量の情報をエンコードするために必要なトークン数）および最終タスクの性能にどのように影響するかについて、系統的な実験を実施します。我々は、(1) 適応前の初期性能が必ずしも最終性能を示すものではないこと、(2) 大多数のLLMにおいては簡単な語彙の拡張と継続的なファインチューニングにより効率性が容易に向上すること、(3) 最適な適応方法は言語依存性が高く、最も単純なアプローチがさまざまな実験設定でうまく機能することを発見しました。英語中心のモデルを適応させることは、低リソース言語における初期性能が劣っていても、多言語モデルを適応させるよりも良い結果をもたらす可能性があります。私たちの研究は、既存のLLMを適応させることによって、効率的に言語特化型LLMを構築するための基盤を築くものです。