人間とLLMの基盤における亀裂のナビゲーション：研究とベンチマーク

言語モデルは指示に従うのに優れていますが、人間が自然に採用する会話の協力的な側面にはしばしば苦労します。この基盤の制約、すなわち会話の参加者が相互理解を確立するプロセスは、ユーザーのフラストレーションから高リスクシナリオにおける深刻な結果まで、さまざまな結果を引き起こす可能性があります。人間とLLMの相互作用における基盤の課題を体系的に研究するために、WildChat、MultiWOZ、Bing Chatの3つの人間支援データセットからのログを分析します。私たちは基盤行為の分類法を開発し、基盤行動を注釈付けし予測するモデルを構築します。私たちの発見は、人間同士の基盤と人間-LLMの基盤において重要な違いを明らかにします：LLMは明確化を開始する可能性が人間の3分の1、フォローアップリクエストを提供する可能性が16分の1でした。さらに、早期の基盤の失敗が後の相互作用の崩壊を予測することがわかりました。これらの知見をもとに、私たちはLLMが基盤を開始できない状況を含む公開のLLM相互作用データから派生したベンチマーク「RIFTS」を導入します。現在の最前線モデルはRIFTSでの性能が不十分であり、LLMを人間との相互作用のためにどのように訓練し促すべきか再考する必要があることを浮き彫りにしています。このために、私たちは基盤の失敗を軽減するための初期介入を開発します。* Microsoftでのインターンシップ期間中に行われた研究。 1 私たちは基盤という用語を、会話の参加者が使用する言語、ジェスチャー、信号のクラークの定式化を指すために使用します。