AIがあなたを欺くとき：報酬学習における人間評価者の部分的観測性の課題

人間のフィードバックに基づく強化学習（RLHF）の過去の分析は、人間が環境を完全に観察することを前提としています。人間のフィードバックが部分的な観察に基づく場合、何が起こるのでしょうか？私たちは、欺瞞と過剰正当化という二つの失敗ケースを正式に定義します。人間を軌道に対する信念に関してボルツマン合理的にモデル化し、RLHFがパフォーマンスを欺瞞的に膨らませたり、印象を与えるために行動を過剰に正当化したり、またはその両方をもたらす条件を証明します。これらの問題に対処するために、環境の部分的観測性が学習したリターン関数における（不在の）あいまいさにどのように変換されるかを数学的に特徴付けます。場合によっては、部分的観測性を考慮することでリターン関数および最適な政策を復元することが理論的に可能になりますが、他のケースでは、解消できないあいまいさがあります。部分的観測可能な設定でRLHFを盲目的に適用することには注意が必要であり、これらの課題に対処するための研究方向を提案します。