Pepper के साथ मल्टीमॉडल सहयोगात्मक कहानी सुनाने की खोज: ज़ीरो-शॉट LLMs के साथ एक प्रारंभिक अध्ययन

बड़े भाषा मॉडल (LLMs) के उदय के साथ, वर्चुअल एजेंटों या चैटबॉट्स में सहयोगात्मक कहानी सुनाने को लोकप्रियता मिली है। हालाँकि कहानी सुनाने का उपयोग लंबे समय से सामाजिक रोबोटिक्स में दर्शकों को शिक्षित, मनोरंजन और प्रेरित करने के लिए किया गया है, लेकिन LLMs का ऐसे प्लेटफ़ॉर्म में एकीकरण बड़े पैमाने पर अन्वेषण किया गया है। यह पत्र एक नवीन मल्टीमॉडल सहयोगात्मक कहानी सुनाने की प्रणाली के लिए प्रारंभिक कदम प्रस्तुत करता है जिसमें उपयोगकर्ता सामाजिक रोबोट Pepper के साथ प्राकृतिक भाषा इंटरैक्शन और भौतिक वस्तुओं को प्रस्तुत करके कहानियाँ सह-निर्मित करते हैं। रोबोट इन वस्तुओं को पहचानने के लिए YOLO-आधारित दृष्टि प्रणाली का उपयोग करता है और उन्हें कहानी में सहजता से शामिल करता है। कहानी उत्पादन और अनुकूलन को ऑटोनॉमस तरीके से ज़ीरो-शॉट सेटिंग में Llama मॉडल का उपयोग करके संभाला जाता है, जिसका उद्देश्य इंटरैक्टिव कहानी सुनाने में ऐसे मॉडलों की उपयोगिता और परिपक्वता का आकलन करना है। इमर्सन को बढ़ाने के लिए, रोबोट व्यक्तिपरक इशारों, भावनात्मक संकेतों, और भाषण संशोधन के साथ अंतिम कहानी प्रस्तुत करता है। सर्वेक्षणों और अर्ध-संरचित साक्षात्कारों के माध्यम से एकत्रित उपयोगकर्ता फीडबैक एक उच्च स्तर के स्वीकार्यता का संकेत देता है।