تعزيز كفاءة التخطيط للمهام لوكلاء التعلم المعزز من خلال تقييد الإجراءات المعتمدة على نموذج اللغة الكبير

في التخطيط المعقد للمهام التسلسلية، يواجه وكلاء التعلم المعزز مشكلة عدم كفاءة الاستكشاف الناتجة عن مساحة الإجراءات الكبيرة. تهدف هذه الورقة إلى معالجة هذه المشكلة من خلال اقتراح تقنية تقييد الإجراءات باستخدام نموذج اللغة الكبير (LLM). الطريقة المقترحة تعتمد هيكلًا ثنائي المراحل، حيث يتم الحصول على سياسة قوية في مرحلة التعلم دون تقييد، وفي مرحلة التحقق، يتم تطبيق أقنعة الإجراءات التي أنشأها LLM والتي تحلل الأهداف الهندسية. أظهرت نتائج التجارب المتعلقة بالتحكم في الحفر المستقل أن الطريقة المقترحة حققت تحسينًا بنسبة 16.9% في معدل النجاح و38.6% في الدقة المكانية مقارنةً بالتعلم المعزز الأساسي دون تقييد، كما أظهرت تحسينًا بنسبة 10.5% في معدل النجاح و31.2% في الدقة المكانية مقارنةً بتقييد القواعد. بشكل خاص، كانت ميزتها أكثر وضوحًا مع زيادة حجم المنطقة المستهدفة، مما يثبت أن التفكيك الهندسي التكيفي والتقييد الديناميكي للإجراءات يتجاوبان بفعالية مع زيادة التعقيد. تظهر هذه الدراسة أنه من خلال دمج قدرات الاستدلال الخاصة بـ LLM بفعالية في عملية الاستكشاف في التعلم المعزز، يمكن تحسين كفاءة التعلم والأداء في مشاكل التخطيط المعقدة للمهام في الوقت نفسه.