DOM-Q-NET: التعزيز القائم على التعلم في اللغة المهيكلة

إن بناء وكلاء للتفاعل مع الويب سيسمح بتحسينات ملحوظة في فهم المعرفة وتعلم التمثيل. ومع ذلك، فإن مهام التنقل على الويب صعبة بالنسبة للنماذج الحالية من التعلم التعزيزي العميق بسبب حجم الفضاء الكبير من الإجراءات المتقطعة وتفاوت عدد الإجراءات بين الحالات. في هذا العمل، نقدم DOM-Q-NET، وهي بنية جديدة للتنقل على الويب القائم على التعلم التعزيزي لمعالجة هذين المشكلتين. يتم تحديد دوال Q بشبكات منفصلة لفئات الإجراءات المختلفة: النقر على عنصر DOM وإدخال سلسلة نصية. يستخدم نموذجنا شبكة عصبية رسومية لتمثيل بنية HTML الشجرية لصفحة ويب قياسية. نحن نثبت قدرات نموذجنا في بيئة MiniWoB حيث يمكننا مطابقة أو التفوق على الأعمال الموجودة دون استخدام العروض التوضيحية من خبراء. علاوة على ذلك، نظهر تحسينات بمعدل 2x في كفاءة العينة عند التدريب في بيئة متعددة المهام، مما يسمح لنموذجنا بنقل السلوكيات المكتسبة عبر المهام.