TeenyTinyLlama：ブラジルポルトガル語で訓練されたオープンソースの小型言語モデル

大規模言語モデル（LLMs）は自然言語処理を大幅に進展させましたが、その進展は言語間で均等ではありません。ほとんどのLLMは英語のような高リソース言語で訓練されていますが、多言語モデルは一般的に単一言語モデルのパフォーマンスに及びません。さらに、彼らの多言語基盤の側面は、計算要求やライセンス制度などの副産物を制限することがあります。本研究では、低リソース環境での使用に合わせたオープンファンデーションモデルの開発、その制限、および利点について文書化します。これはTeenyTinyLlamaペアであり、ブラジルポルトガル語のテキスト生成のための2つのコンパクトなモデルです。私たちは、コミュニティの使用とさらなる開発のために、これらをアパッチ2.0ライセンスの下でGitHubとHugging Faceで公開します。