大規模言語モデルのための潜在距離ガイドアライメントトレーニング

人間の好みに対する整合性を確保することは、大規模言語モデル（LLM）の重要な特性です。現在、主要な整合性手法であるRLHFとDPOは、広範な人間のアノテーションを必要とし、その効果にもかかわらず費用がかかります。現在の整合性技術に関連する多大な費用は、研究者がアノテーションなしでの整合性トレーニング手法の開発を模索する動機となっています。外部アノテーションに依存しない改善された整合性を追求する中で、私たちは潜在距離ガイドアライメントトレーニング（LD-Align）を提案します。このアプローチは、ラテント空間からのガイダンスを使用して、高品質のスーパーバイズドファインチューニングデータセットにモデルを整合させることを目的としています。ラテント空間は、オートエンコーディングに似たサンプル再構築を通じて生成されます。その結果、私たちはラテント空間内のサンプルペア間の距離を利用して、DPOベースの整合性トレーニングを導きます。広範な実験と評価により、提案した手法が顕著な整合性を達成する上での有効性が示されます。