تعلم LLM القابل للتعميم للبيانات الاصطناعية للرسوم البيانية مع محاذاة ما بعد التدريب

سعى البحث السابق إلى تعزيز قدرات التفكير في الرسوم البيانية للـ LLMs من خلال ضبط دقيق تحت إشراف على بيانات الرسوم البيانية الاصطناعية. بينما أدت هذه الجهود إلى LLMs متخصصة أفضل في حل مشكلات خوارزميات الرسوم البيانية، نحن لا نحتاج إلى LLMs لأقصر مسار: نحن بحاجة إلى تعميم من بيانات الرسوم البيانية الاصطناعية إلى المهام الواقعية مع هياكل الرسوم البيانية الضمنية. في هذا العمل، نقترح فتح التعلم القابل للتعميم للرسوم البيانية مع محاذاة ما بعد التدريب مع البيانات الاصطناعية. أولاً، نصمم مكافآت قائمة على الحلول ومكافآت قائمة على العمليات لمشكلات الرسوم البيانية الاصطناعية: بدلاً من حفظ أنماط الاستجابة بطريقة صارمة في الضبط الدقيق المباشر، نفترض أن محاذاة ما بعد التدريب ستساعد الـ LLMs على فهم العناصر الأساسية التي تكمن وراء التفكير في الرسوم البيانية وتخفف من مشكلة الإفراط في التوافق مع البيانات الاصطناعية. نستخدم خوارزميات محاذاة ما بعد التدريب مثل GRPO و DPO، ونقوم بمحاذاة كل من LLMs الجاهزة و LLMs المضبوطة دقيقًا على بيانات الرسوم البيانية الاصطناعية. ثم نقارنها بالإعدادات الحالية على كل من المهام الاصطناعية في النطاق ومهام العالم الواقعي خارج النطاق مع هياكل رسوم بيانية ضمنية مثل أسئلة متعددة النقاط، والتخطيط المنظم، والمزيد. تظهر التجارب الواسعة أن وصفتنا لمحاذاة ما بعد التدريب تؤدي إلى تحسين إحصائي كبير في 5 مجموعات بيانات، مع متوسط زيادة بنسبة 12.9% فوق إعدادات الأساس. تكشف التحليلات الإضافية أن المكافآت القائمة على العمليات تتفوق باستمرار على المكافآت القائمة على الحلول في البيانات الاصطناعية، ولكنها تختلف في المهام الواقعية، ولا تزال التراكيب والخطوات الوسيطة القابلة للتفسير تمثل تحديًا حاسمًا حتى بعد محاذاة ما بعد التدريب.