هل تستطيع نماذج اللغة الكبيرة المحادثة بشكل رسمي؟ تقييم تلقائي لقدرات نماذج اللغة الكبيرة في ترجمة وتفسير المواصفات الرسمية

غالبًا ما يصف أصحاب المصلحة متطلبات النظام باستخدام اللغة الطبيعية، والتي يتم تحويلها بعد ذلك إلى صيغة رسمية من قبل خبير في المجال، مما يؤدي إلى زيادة تكاليف التصميم. تقيّم هذه الورقة قدرات نماذج اللغة الكبيرة (LLMs) في تحويل الوصف باللغة الطبيعية إلى مواصفات رسمية. لقد قيمت الأعمال الحالية قدرات نماذج اللغة الكبيرة في توليد الصيغة الرسمية مثل شفرة المصدر، ولكن مثل هذه التجارب عادة ما تكون مصنوعة يدويًا وتستخدم مشاكل من المرجح أن تكون في مجموعة التدريب لنماذج اللغة الكبيرة، وغالبًا ما تتطلب مجموعات بيانات موصوفة بشريًا. نقترح منهجًا يمكنه استخدام نسختين من نموذج لغة كبير بالاشتراك مع مثبّت جاهز لتقييم قدراته في الترجمة تلقائيًا دون أي مدخلات بشرية إضافية. يولّد منهجنا صيغة رسمية باستخدام قواعد اللغة لتوليد مجموعة بيانات تلقائيًا. نجري تقييمًا تجريبيًا لقياس دقة هذه المهمة الترجمية ونظهر أن نماذج اللغة الكبيرة في الوقت الحالي لا تستطيع حل هذه المهمة بشكل كافٍ، مما يحد من فائدتها الحالية في تصميم أنظمة معقدة.