SOLOIST：転移学習と機械教育を用いたタスクボットの大規模構築

私たちは、転移学習と機械教育を利用して大規模にタスクボットを構築する新しい手法SOLOISTを発表します。私たちは、異なる対話モジュールを単一のニューラルモデルに統合するTransformerベースの自回帰言語モデルを使用して、古典的なモジュラータスク指向対話システムをパラメータ化します。タスク完了のためにユーザーの目標と現実世界の知識に基づいた対話応答を生成できるタスクグラウンデッド応答生成モデルを、異質な対話コーパスで事前訓練します。事前訓練されたモデルは、システムと対話する人間教師によって生成されたトレーニングサンプルを介して、少数のタスク特化の対話で新しいタスクを効率的に達成できるよう適応されます。実験結果は、(i) SOLOISTがCamRest676やMultiWOZなど、よく研究されたタスク指向対話ベンチマークで新たに最先端を達成することを示し、(ii) 少数ショット微調整設定では、SOLOISTが既存の手法を大幅に上回ることを示し、(iii) 機械教育の利用が微調整のラベリングコストを大幅に削減することを示しています。事前訓練されたモデルとコードはhttps://aka.ms/soloistで入手可能です。