هل يمكن للمطورين التحفيز؟ تجربة مضبوطة لتوليد توثيق الشيفرة

تحمل النماذج اللغوية الكبيرة (LLMs) إمكانيات كبيرة لأتمتة المهام التطويرية المملة مثل إنشاء وصيانة توثيق الشيفرة. ومع ذلك، من غير الواضح إلى أي مدى يمكن للمطورين تحفيز النماذج اللغوية الكبيرة بفعالية لإنشاء توثيق موجز ومفيد. نحن نبلغ عن تجربة مضبوطة مع 20 محترفًا و30 طالبًا في علوم الحاسوب تم تكليفهم بتوليد توثيق الشيفرة لوظيفتين في بايثون. أدخلت المجموعة التجريبية تحفيزات عشوائية بحرية في إضافة شبيهة بـ ChatGPT لبرنامج Visual Studio Code، بينما نفذت المجموعة الضابطة تحفيزًا مسبق الإعداد. تكشف نتائجنا أن المحترفين والطلاب لم يكونوا على دراية بتقنيات هندسة التحفيز أو غير قادرين على تطبيقها. خاصة، كان الطلاب يرون أن التوثيق الناتج عن التحفيزات العشوائية أقل قابلية للقراءة، وأقل إيجازًا، وأقل فائدة من التوثيق الناتج عن التحفيزات المعدة. أنتج بعض المحترفين توثيقًا عالي الجودة فقط من خلال تضمين الكلمة الرئيسية Docstring في تحفيزاتهم العشوائية. بينما كان الطلاب يرغبون في دعم أكثر في صياغة التحفيزات، كان المحترفون يقدرون مرونة التحفيز العشوائي. نادرًا ما قام المشاركون في كلا المجموعتين بتقييم النتائج على أنها مثالية. بدلاً من ذلك، فهموا الأدوات كدعم لصقل التوثيق بشكل تكراري. هناك حاجة لمزيد من الأبحاث لفهم المهارات والتفضيلات التحفيزية التي يمتلكها المطورون وما الدعم الذي يحتاجونه لمهام معينة.