グラフベースの強化学習による統一的対話推薦ポリシー学習

対話型推薦システム（CRS）は、伝統的な推薦システムがインタラクティブな対話を通じてアイテムや属性に対するユーザーの好みを明示的に獲得できるようにします。強化学習（RL）は、対話の各ターンでどの属性を尋ね、どのアイテムを推薦し、いつ尋ねるかまたは推薦するかを決定するために、対話推薦ポリシーを学ぶために広く採用されています。しかし、既存の手法は主にCRSにおけるこれらの3つの意思決定問題の1つまたは2つを解決することにターゲットを絞っており、対話と推薦コンポーネントが分離されているため、CRSのスケーラビリティと一般性が制限され、安定したトレーニング手順を維持するには不十分です。これらの課題を踏まえ、私たちはCRSにおけるこれらの3つの意思決定問題を統一されたポリシー学習タスクとして定式化することを提案します。対話と推薦コンポーネントを体系的に統合するために、私たちは各対話ターンでアクションを選択するポリシーを学ぶための動的重み付けグラフベースのRL手法を開発します。さらに、サンプル効率の問題に対処するために、好みとエントロピー情報に基づいて候補アクション空間を削減するための2つのアクション選択戦略を提案します。2つのベンチマークCRSデータセットと実世界のEコマースアプリケーションでの実験結果は、提案手法が最新の手法を大幅に上回るだけでなく、CRSのスケーラビリティと安定性を向上させることも示しています。