What type of study is this?

This is a Quantitative Study study.

October 20, 2025Open Access

पुनर्प्राप्ति-आधारित GUI एजेंट्स जिनमें जनरेटिव दिशानिर्देश होते हैं

Key Points

RAG-GUI जटिल डिजिटल कार्यों में GUI एजेंटों की प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है, जो आधार रेखाओं के मुकाबले 13.3% तक का सुधार प्राप्त करता है।
पर्यवेक्षित फाइन-ट्यूनिंग और आत्म-निर्देशित अस्वीकृति नमूने के संयोजन के माध्यम से, RAG-GUI दृष्टि-भाषा मॉडलों की क्षमताओं को बढ़ाता है।
RAG-GUI का मॉडल-निष्प्रभावी डिजाइन इसे विभिन्न दृष्टि-भाषा मॉडलों में अनुकूलित बनाता है, मौजूदा एजेंटों को न्यूनतम एकीकरण प्रयास के साथ बढ़ाता है।
क्रॉस-कार्य मूल्यांकन RAG-GUI की मजबूत सामान्यीकरण क्षमताओं को प्रकट करता है, जो विभिन्न वास्तविक दुनिया के परिदृश्यों में इसके संभावित अनुप्रयोगों का सुझाव देता है।

Abstract

दृष्टि-भाषा मॉडल (VLMs) द्वारा संचालित GUI एजेंट जटिल डिजिटल कार्यों को स्वचालित करने में प्रभावशाली सिद्ध होते हैं। हालांकि, वास्तविक दुनिया में उनके प्रभावशीलता अक्सर सीमित होती है क्योंकि प्रशिक्षण डेटा की कमी और इन कार्यों की अंतर्निहित जटिलता होती है, जो अक्सर दीर्घ-पक्ष ज्ञान की आवश्यकता होती है जो दुर्लभ, अनदेखे परिदृश्यों को कवर करता है। हम RAG-GUI का प्रस्ताव करते हैं, एक हल्का VLM जो अनुमान लगाने के समय वेब ट्यूटोरियल का लाभ उठाता है। RAG-GUI पहले पर्यवेक्षित फाइन-ट्यूनिंग (SFT) के माध्यम से गर्म-स्टार्ट किया गया है और आगे आत्म-निर्देशित अस्वीकृति नमूने फाइन-ट्यूनिंग (RSF) के माध्यम से परिष्कृत किया गया है। मॉडल-निष्प्रभावी होने के रूप में डिजाइन किया गया, RAG-GUI किसी भी VLM-आधारित एजेंट को बढ़ाने वाला एक सामान्य प्लग-इन के रूप में कार्य करता है। तीन विभिन्न कार्यों में मूल्यांकन किए जाने पर, यह लगातार आधार रेखा एजेंटों को बेहतर बनाता है और दो मॉडल आकारों के बीच अन्य अनुमान बुनियादों को 2.6% से 13.3% तक पार करता है, वास्तविक दुनिया के परिदृश्यों में मजबूत सामान्यीकरण और व्यावहारिक प्लग-एंड-प्ले क्षमताओं का प्रदर्शन करता है।

Read Full Paperexternally

AI से पूछें

Bookmark

View Full Paper