不完全情報ゲームにおける自己対戦からの深層強化学習

多くの実世界のアプリケーションは、不完全情報の大規模ゲームとして説明できます。これらの挑戦的な領域に対処するために、以前の研究ではドメインの手作りの抽象化においてナッシュ均衡を計算することに焦点が当てられてきました。本論文では、事前のドメイン知識なしに近似ナッシュ均衡を学習するための初のスケーラブルなエンドツーエンドアプローチを紹介します。我々の手法は、架空の自己対戦と深層強化学習を組み合わせています。ルデュックポーカーに適用したところ、Neural Fictitious Self-Play (NFSP) はナッシュ均衡に近づきましたが、一般的な強化学習手法は発散しました。現実世界規模のポーカーゲームであるリミットテキサスホールデムでは、NFSPは大規模なドメイン専門知識に基づく最先端の超人的アルゴリズムのパフォーマンスに近づいた戦略を学習しました。