Key points are not available for this paper at this time.
حققت نماذج اللغات الكبيرة (LLMs) تقدمًا ملحوظًا في توليد الكود وإصلاحه، مما أفاد المطورين المبتدئين وذوي الخبرة على حد سواء. ومع ذلك، يؤدي تدريبها باستخدام بيانات غير مُنقّاة من مستودعات مفتوحة المصدر مثل GitHub إلى زيادة خطر نشر ثغرات أمنية عن غير قصد. رغم وجود العديد من الدراسات التي تبحث في أمان نماذج الكود LLMs، إلا أنه لا يزال هناك فجوة في معالجة ميزات الأمان الخاصة بها بشكل شامل. في هذا العمل، نهدف إلى تقديم دراسة شاملة تهدف إلى تقييم وتعزيز الجوانب الأمنية لنماذج الكود LLMs بدقة. لدعم بحثنا، قدمنا CodeSecEval، وهو مجموعة بيانات مُنقّحة بعناية مصممة للتعامل مع 44 نوعًا حرجًا من الثغرات الأمنية مع 180 عينة متميزة. تُستخدم CodeSecEval كأساس للتقييم التلقائي لنماذج الكود في مهمتين رئيسيتين: توليد الكود وإصلاح الكود، مع تركيز قوي على الأمان. تكشف نتائجنا التجريبية أن النماذج الحالية غالبًا ما تتجاهل القضايا الأمنية أثناء كل من عمليات توليد وإصلاح الكود، مما يؤدي إلى إنشاء كود عرضة للخطر. استجابةً لذلك، نقترح استراتيجيات مختلفة تستفيد من معلومات مدركة للثغرات وشرح للكود غير الآمن للتخفيف من هذه الثغرات الأمنية. علاوة على ذلك، تُبرز نتائجنا أن بعض أنواع الثغرات تشكل تحديًا خاصًا لأداء النماذج، مما يؤثر على فعالية تطبيقاتها في العالم الحقيقي. استنادًا إلى هذه النتائج، نعتقد أن دراستنا ستؤثر إيجابيًا على مجتمع هندسة البرمجيات، ملهمة تطوير طرق محسنة لتدريب واستخدام نماذج اللغات الكبيرة، مما يؤدي إلى نشر نماذج أكثر أمانًا وموثوقية.
درس وانغ وزملاؤه (الثلاثاء) هذا السؤال.