THz帯のIRS支援ISACシステムにおける近接政策最適化に基づく送信ビーム形成および位相シフト設計

本論文では、システム容量を最大化するためにテラヘルツ（THz）帯で動作するIRS支援の統合センシングおよび通信（ISAC）システムを提案します。送信ビーム形成と位相シフト設計はエルゴード制約を伴う普遍的な最適化問題に変換されます。その後、マルチユーザー多入力単出力（MISO）シナリオにおける勾配ベースのプライマル-デュアル近接政策最適化（PPO）によって送信ビーム形成と位相シフト設計の共同最適化が達成されます。具体的には、アクタ部分は連続的な送信ビーム形成を生成し、クリティック部分は離散的な位相シフト設計を担当します。MISOシナリオに基づいて、マルチユーザ多入力多出力（MIMO）シナリオにおけるマルチスレッディング学習の概念を用いた分散PPO（DPPO）フレームワークを検討します。シミュレーション結果は、送信ビーム形成と位相シフト設計におけるプライマル-デュアルPPOアルゴリズムおよびそのマルチスレッディング版の有効性を示します。