बड़े भाषा मॉडलों (LLMs) के साथ कोड उत्पन्न करना, विशेष रूप से उन अनिश्चित निर्णय बिंदुओं पर जो कार्यक्रम की लॉजिक को प्रभावित करते हैं, टोकन चयन के प्रति अत्यधिक संवेदनशील होता है। जबकि मानक रणनीतियाँ जैसे लालची स्वरूपण सभी टोकनों को समान रूप से मानती हैं, वे कोड-विशिष्ट अनिश्चितता पैटर्न को नजरअंदाज करती हैं, जो उपयुक्त प्रदर्शन में कमी का कारण बनती हैं। इस पेपर में एक अनुभवजनक अध्ययन प्रस्तुत किया गया है जो दिखाता है कि कई उत्पन्न होने वाली गलतियाँ उच्च-अनिश्चितता कदमों पर टोकन रैंकिंग की गलतियों से उत्पन्न होती हैं, जहाँ सही टोकन मौजूद होता है लेकिन शीर्ष-रैंक नहीं होता। इन निष्कर्षों से प्रेरित होकर, हम AdaDec का सुझाव देते हैं, जो एक लुकआहेड-आधारित अनिश्चितता-मार्गदर्शित अनुकूलन स्वरूपण ढांचा है जो टोकन अनिश्चितता द्वारा संचालित एक टोकन-स्तरीय ठहरने-फिर से रैंकिंग तंत्र को शामिल करता है। AdaDec मॉडल-विशिष्ट अनिश्चितता सीमा सीखता है और उच्च अनिश्चितता होने पर एक लुकआहेड-आधारित फिर से रैंकिंग रणनीति का उपयोग करता है। HumanEval+, MBPP+, और DevEval मानकों पर प्रयोग दिखाते हैं कि AdaDec लालची स्वरूपण की तुलना में 20.9% तक की Pass@1 सटीकता में सुधार करता है। और भी महत्वपूर्ण है, यह Beam Search और अत्याधुनिक अनुकूलन स्वरूपण पद्धतियों जैसे AdapT की तुलना में लगातार बेहतर प्रदर्शन करता है, जबकि चयनात्मक, अनिश्चितता-प्रेरित ठहराव के माध्यम से उच्च दक्षता बनाए रखता है। हमारे परिणाम अनिश्चितता-सचेत अनुकूलन स्वरूपण की संभावनाओं को उजागर करते हैं जो LLM-आधारित कोड उत्पन्न करने की विश्वसनीयता और दक्षता दोनों में सुधार करने की दिशा में है।
He et al. (मंगल,) ने इस प्रश्न का अध्ययन किया।