BaichuanSEED：競争力のある大規模言語モデルのベースラインを導入することで、広範なデータ収集と重複排除の可能性を共有する

大規模言語モデル（LLM）の一般的な能力は、広範な事前トレーニングデータセットの構成と選択に大きく依存しており、いくつかの機関によって商業機密として扱われています。この問題を緩和するために、私たちは普遍的に適用可能なデータ処理パイプラインの詳細をオープンソース化し、競争力のあるLLMベースラインを導入することでその有効性と潜在能力を検証します。具体的には、データ処理パイプラインは、スケールアップのための幅広い収集と質を向上させるための再重み付けから構成されています。次に、私たちのパイプラインによって処理された3Tトークンで事前トレーニングされた7BモデルBaichuanSEEDを、意図的な下流タスク関連の最適化を行わずにトレーニングし、その後、簡単で効果的な監視付きファインチューニング段階を経ます。BaichuanSEEDは、トレーニング全体を通じて一貫性と予測可能性を示し、Qwen1.5やLlama3などのいくつかの商業的な高度な大規模言語モデルと比較可能なパフォーマンスを達成します。また、数学やコーディングなどの下流タスクのさらなる最適化の可能性について議論するために、いくつかのヒューリスティック実験を行います。