POMDPベースの対話管理者最適化のためのガウス過程

部分可観測マルコフ決定過程（POMDP）は、対話ポリシーの自動最適化を可能にし、音声理解エラーに対して堅牢性を提供する対話モデルとして提案されている。このようなモデルを使用して実世界の対話システムを構築するためのさまざまな近似が存在する。しかし、対話ポリシーを訓練するためには多くの対話が必要であり、そのため通常はユーザーシミュレーターの利用可能性に依存している。また、ポリシー表現を手作業で構築するためには重要な設計者の努力が必要である。我々は、これらの問題を克服するために政策モデルにおけるガウス過程（GP）の使用を調査する。GPポリシー最適化が実世界のPOMDP対話管理者に対して実装できることを示し、特に以下のことを示す：1）学習プロセスの変動を最小化するために、GPポリシーの異なる定式化を検討する；2）GPの使用が学習率をオーダーオブマグニチュードで増加させ、人間ユーザーとの直接的な相互作用による学習を可能にすることを発見する；3）設計者の努力を大幅に削減できることを示し、ポリシーをフル信念空間に直接基づけることで、アドホックな特徴空間モデリングを回避する。全体として、GPアプローチは実世界のシステムにおける完全自動対話ポリシー最適化への重要なステップを示す。