تحسين متكرر لسياق الشفرة على مستوى المشروع من أجل توليد دقيق للشفرة مع تعليقات المترجم

أظهرت نماذج اللغات الكبيرة (LLMs) تقدمًا ملحوظًا في توليد الشفرة الآلي. ومع ذلك، فإن دمج توليد الشفرة المعتمد على نماذج اللغات الكبيرة في مشاريع البرمجيات الحقيقية يواجه تحديات، حيث قد تحتوي الشفرة المولدة على أخطاء في استخدام واجهة برمجة التطبيقات، أو الفئات، أو الهياكل البيانات، أو معلومات مفقودة محددة للمشروع. نظرًا لأن الكثير من هذا السياق المحدد للمشروع لا يمكن أن يتناسب مع مطالب نماذج اللغات الكبيرة، يجب علينا إيجاد طرق تتيح للنموذج استكشاف سياق الشفرة على مستوى المشروع. لتحقيق ذلك، يقدم هذا البحث نهجًا جديدًا، يسمى ProCoder، الذي يحسن بشكل متكرر سياق الشفرة على مستوى المشروع من أجل توليد دقيق للشفرة، مسترشدًا بتعليقات المترجم. على وجه الخصوص، يستفيد ProCoder أولاً من تقنيات المترجم لتحديد عدم تطابق بين الشفرة المولدة وسياق المشروع. ثم يقوم بتحسين وتعديل الأخطاء المحددة باستخدام المعلومات المستخرجة من مستودع الشفرة. نقوم بدمج ProCoder مع نماذج لغات كبيرة تمثلية، أي GPT-3.5-Turbo وCode Llama (13B)، ونعمل على توليد الشفرة بلغة بايثون. تظهر النتائج التجريبية أن ProCoder يحسن بشكل كبير من أداء نماذج اللغات الكبيرة الأصلية بأكثر من 80% في توليد الشفرة المعتمدة على سياق المشروع، ويتفوق بشكل مستمر على الأسس الموجودة لتوليد الشفرة المعتمدة على الاسترجاع.