क्रियाओं और चलने को LLM-निर्मित पाठ्य विवरण के साथ संरेखित करना

बड़े भाषा मॉडल (LLMs) ने डेटा संवर्धन और कृत्रिम डेटा उत्पादन जैसे विभिन्न क्षेत्रों में उल्लेखनीय क्षमताएँ प्रदर्शित की हैं। यह कार्य गति अनुक्रमों के लिए समृद्ध पाठ्य विवरण उत्पन्न करने के लिए LLMs के उपयोग की पड़ताल करता है, जिसमें क्रियाएँ और चलने के पैटर्न दोनों शामिल हैं। हम LLMs की व्यक्तिपरक शक्ति का उपयोग करके गति प्रस्तुतियों को उच्च-स्तरीय भाषाई संकेतों के साथ संरेखित करते हैं, जिसमें दो अलग-अलग कार्य शामिल हैं: क्रिया मान्यता और उपस्थिति गुणों के आधार पर चलने के अनुक्रमों की प्राप्ति। क्रिया मान्यता के लिए, हम BABEL-60 डेटासेट में क्रियाओं के पाठ्य विवरण उत्पन्न करने के लिए LLMs का उपयोग करते हैं, जिससे गति अनुक्रमों को भाषाई प्रस्तुतियों के साथ संरेखित करने में मदद मिलती है। गait विश्लेषण के क्षेत्र में, हम DenseGait डेटासेट से गति अनुक्रमों के पाठ्य विवरण उत्पन्न करके चलने के पैटर्न पर उपस्थिति गुणों के प्रभाव का अध्ययन करते हैं। ये विवरण चलने की शैलियों में सूक्ष्म भिन्नताओं को कैद करते हैं जो कपड़े चयन और फुटवियर जैसी कारकों से प्रभावित होते हैं। हमारा दृष्टिकोण संरचित गति गुणों को बढ़ाने और मल्टी-मोडल प्रस्तुतियों को संरेखित करने में LLMs की संभावनाओं का प्रदर्शन करता है। निष्कर्ष समग्र गति समझ के विकास में योगदान करते हैं और गति विश्लेषण के लिए मल्टी-मोडल संरेखण और डेटा संवर्धन में LLMs के लाभ उठाने के लिए नए मार्ग खोलते हैं। हम कोड को सार्वजनिक रूप से उपलब्ध कराते हैं। https://github.com/Radu1999/WalkAndText