एलएलमोर्फियस: बड़े भाषा मॉडलों का उपयोग करके उत्परिवर्तन परीक्षण

उत्परिवर्तन परीक्षण में, परीक्षण सूट की गुणवत्ता का मूल्यांकन एक कार्यक्रम में दोषों को पेश करके और यह निर्धारित करके किया जाता है कि क्या कार्यक्रम के परीक्षण उन दोषों का पता लगाते हैं। अधिकांश मौजूदा दृष्टिकोणों में एक निश्चित सेट के उत्परिवर्तन ऑपरेटरों का उपयोग शामिल है, जैसे "+" को "-" से बदलना या किसी कार्य के शरीर को हटाना।हालांकि, कुछ प्रकार की वास्तविक दुनिया की बगों को ऐसे दृष्टिकोणों द्वारा आसानी से अनुकरण नहीं किया जा सकता है, जिससे उनकी प्रभावशीलता सीमित हो जाती है। यह पत्र एक तकनीक प्रस्तुत करता है जहां एक बड़ा भाषा मॉडल (LLM) उत्परिवर्तन का सुझाव देने के लिए प्रेरित किया जाता है यह पूछकर कि स्रोत कोड में डाले गए प्लेसहोल्डर को किस चीज़ से बदलना चाहिए। यह तकनीक एलएलमोर्फियस में लागू की गई है, जो जावास्क्रिप्ट के लिए एक उत्परिवर्तन परीक्षण उपकरण है, और 13 विषय पैकेजों पर मूल्यांकन की गई है, जिसमें प्रेरण रणनीति पर कई भिन्नताएँ और कई LLMs का उपयोग किया गया है। हम पाते हैं कि एलएलमोर्फियस उन उत्परिवर्तनों का उत्पादन करने में सक्षम है जो मौजूदा बगों के समान हैं जिन्हें StrykerJS, एक अत्याधुनिक उत्परिवर्तन परीक्षण उपकरण द्वारा उत्पन्न नहीं किया जा सकता है। इसके अलावा, हम एलएलमोर्फियस द्वारा उत्पन्न उत्परिवर्तनों की संख्या, लागत और कालबद्धता पर रिपोर्ट करते हैं, जिससे इसकी व्यावहारिकता को प्रदर्शित किया जाता है।