زيادة سعة المرور على المدى الطويل في شبكات التواصل اللاسلكية المدعومة بالطاقة: نهج التعلم المعزز متعدد المهام

في هذه الورقة، ندرس شبكة تواصل لاسلكية مدعومة بالطاقة (WPCN) مكونة من عدة أجهزة لاسلكية (WDs) تعتمد على نقطة وصول للطاقة (EAP) لتوفير الطاقة التي تستخدم لنقل البيانات إلى نقطة وصول البيانات (DAP). بينما كان التركيز السائد في الأدبيات في هذا المجال على تحسين معدل البيانات القائم على الإطارات، فقد كان معروفًا أن هذا النهج أناني وهو مثالي فقط في قنوات الضوضاء البيضاء الغاوسية المضافة (AWGN). وبالتالي، في هذا العمل، نقترح خوارزمية عبر الإنترنت تقوم، بناءً على الحالة الحالية للبطاريات والقنوات، بحساب وقت الإرسال وتخصيصات الطاقة بشكل تكيفي لزيادة الأداء على المدى الطويل لهذا النظام في القنوات المتلاشية. لتحقيق مثل هذا الهدف، نستخدم نهج Twin Delayed DDPG (TD3)، وهو تقنية تعلم تعزيز عميق (DRL) مصممة لمساحات الحالة والفعل المستمرة. بالإضافة إلى ذلك، نستخدم تقنيات التعلم متعدد المهام (MTL) لتدريب وكيل DRL يقوم بإنشاء سياسة مركبة قادرة على تحسين ليس فقط تكوين WPCN واحد محدد، ولكن مجموعة من مشاكل WPCN، والتي نسميها بيئة مركبة. كل من هذه البيئات لها معلمات مختلفة مثل مسافات WDs إلى DAP وEAP، حجم البطاريات، خطية نموذج حصاد الطاقة من الهوائي الموجّه (rectenna)، بالإضافة إلى مكونات قنوات الربط الصاعد (UL) والربط النازل (DL) المختلفة. تؤكد نتائج المحاكاة أن خوارزمية TD3 يمكن أن تتعلم بسهولة لتحقيق سعة مرور مشتركة أعلى بكثير مقارنةً بمخططات التحسين التقليدية.