Key points are not available for this paper at this time.
बड़े भाषा मॉडल (LLM) के मूल्यांकन विधियों और डेटासेट्स का तेजी से विकास एक गहन चुनौती बन गया है: उत्कृष्ट मूल्यांकन तकनीकों को लागत प्रभावी तरीके से समेकित करना, जबकि विश्वसनीयता, पुनरुत्पादन और दक्षता सुनिश्चित करना। वर्तमान में, विभिन्न मूल्यांकन दृष्टिकोणों को सहजता से एकीकृत करने के लिए एक एकीकृत और अनुकूलनशील ढांचे का उल्लेखनीय अभाव है। इसके अलावा, डेटा संदूषण के संभावित कारणों के कारण मूल्यांकन के निष्कर्षों की विश्वसनीयता अक्सर प्रश्न में होती है, जबकि LLM पूर्वानुमान से संबंधित महत्वपूर्ण लागतों का सामना करते समय मूल्यांकन की दक्षता अक्सर नजरअंदाज कर दी जाती है। इन चुनौतियों के उत्तर में, हम FreeEval प्रस्तुत करते हैं, जो खुली और कुशल स्वचालित मूल्यांकन के लिए बनाया गया एक मॉड्यूलर और स्केलेबल ढांचा है। सबसे पहले, FreeEval के एकीकृत अमूर्तताओं से विभिन्न मूल्यांकन विधियों के समेकन को सरल बनाया जाता है और पारदर्शिता में सुधार होता है, जिसमें डायनामिक मूल्यांकन शामिल है जो उन्नत LLM इंटरएक्शन की मांग करता है। दूसरा, यह ढांचा मानवीय मूल्यांकन और डेटा संदूषण का पता लगाने जैसी मेटा-मूल्यांकन तकनीकों को एकीकृत करता है, जो प्लेटफॉर्म में डायनामिक मूल्यांकन मॉड्यूल के साथ मिलकर मूल्यांकन परिणामों की निष्पक्षता को बढ़ाता है। अंत में, FreeEval को उच्च प्रदर्शन इंफ्रास्ट्रक्चर के साथ डिज़ाइन किया गया है, जिसमें वितरित गणना और कैशिंग रणनीतियां शामिल हैं, जो ओपन-सोर्स और प्रायोजित LLMs के लिए बहु-नोड, बहु-GPU क्लस्टर में व्यापक मूल्यांकन की अनुमति देती हैं।
Yu et al. (मंगल,) ने इस प्रश्न का अध्ययन किया।