चार्टइंस्ट्रक्ट: चार्ट समझ और तर्क के लिए इंस्ट्रक्शन ट्यूनिंग

चार्ट डेटा का दृश्यात्मक प्रतिनिधित्व प्रदान करते हैं और जानकारी का विश्लेषण करने, प्रश्नों का समाधान करने, और दूसरों तक अंतर्दृष्टि पहुँचाने के लिए व्यापक रूप से उपयोग किए जाते हैं। हाल ही में, प्रश्नोत्तर और संक्षेपण जैसे कई चार्ट-संबंधित डाउनस्ट्रीम कार्य उभरे हैं। इन कार्यों को हल करने के लिए एक सामान्य रणनीति विभिन्न मॉडलों को फाइन-ट्यून करने की है, जिन्हें मूल रूप से विज़न टास्क और भाषा पर प्रशिक्षित किया गया था। हालांकि, ऐसे कार्य-विशिष्ट मॉडल चार्ट-संबंधित कार्यों की व्यापक श्रृंखला को हल करने में सक्षम नहीं हैं, जिससे उनका वास्तविक दुनिया में उपयोग सीमित हो जाता है। इन चुनौतियों से निपटने के लिए, हम प्रस्तुत करते हैं ChartInstruct: एक नवीन चार्ट-विशिष्ट विज़न-भाषा इंस्ट्रक्शन-फ़ॉलोइंग डेटासेट जिसमें 71K चार्ट के साथ 191K निर्देश शामिल हैं। इसके बाद, हम ऐसे डेटासेट पर इंस्ट्रक्शन ट्यूनिंग के लिए दो अलग सिस्टम प्रस्तुत करते हैं: (1) एक एंड-टू-एंड मॉडल जो चार्ट समझ के लिए विज़न एन्कोडर को LLM से जोड़ता है; और (2) एक पाइपलाइन मॉडल जो चार्ट डेटा टेबल निकालने और उन्हें LLM में इनपुट करने के लिए दो-चरणीय दृष्टिकोण अपनाता है। चार डाउनस्ट्रीम कार्यों पर प्रयोगों में, हम सबसे पहले अपने मॉडल की प्रभावशीलता दिखाते हैं—नए राज्य-आधिकारिक परिणाम प्राप्त करते हुए। आगे के मूल्यांकन से पता चलता है कि हमारा इंस्ट्रक्शन-ट्यूनिंग दृष्टिकोण वास्तविक दुनिया के चार्ट समझ और तर्क परिदृश्यों की विस्तृत श्रृंखला का समर्थन करता है, जिससे हमारे मॉडलों की कार्यक्षमता और प्रयोज्यता नए प्रकार के कार्यों तक बढ़ जाती है।