البوستر: أتمتة المهام المتنقلة بكفاءة ودقة من خلال التعلم من الشيفرة

مع ظهور وازدهار نماذج اللغة الكبيرة (LLMs)، شهدت وكلاء الذكاء الاصطناعي (AI) تقدمًا سريعًا. يكتفي معظم الوكلاء المتنقلين بتقليد العمليات البشرية، حيث ينفذون الإجراءات بناءً على واجهة المستخدم البشرية (UI). تؤثر المدخلات المحدودة سلبًا على كفاءة ودقة المهام المتنقلة. نقترح منهجًا غير مستكشف: التعلم من الشيفرة المصدرية. تعتبر الشيفرة المصدرية التفاعل الأساسي لتطبيقات الهواتف المحمولة، والتي يمكن استخدامها لتعزيز فهم واجهة المستخدم للوكلاء المتنقلين، وتحسين دقة تنفيذ الإجراءات، وتقليل متوسط خطوات إكمال الإجراءات. تم تقييم تنفيذ نموذج الوكيل بشكل أولي على 5 تطبيقات مفتوحة المصدر و22 مهمة، مما أدى إلى تقليل متوسط عدد خطوات إكمال المهام بنسبة 54٪.