تستكشف هذه الورقة التطبيق الجديد لنماذج اللغة الكبيرة (LLMs) كمقيمين للملخصات العلمية المهيكلة — وهي مهمة قد لا تنطبق عليها مقاييس التقييم التقليدية للغة الطبيعية بسهولة. باستخدام الرسم البياني المعرفي للأبحاث المفتوحة (ORKG) كمستودع للخصائص التي يتم اختيارها يدويًا، قمنا بتوسيع مجموعة بيانات معيارية من خلال توليد خصائص مقابلة باستخدام ثلاثة نماذج LLM مميزة — Llama وMistral وQwen — تحت ثلاث إعدادات سياقية: سياق فقير (مشكلة البحث فقط)، وسياق غني (مشكلة البحث مع العنوان والملخص)، وسياق مكثف (مشكلة البحث مع عدة أوراق بحثية مشابهة). لتقييم جودة هذه الخصائص، استخدمنا مقيمين من LLM (Deepseek وMistral وQwen) لتقييمها بناءً على معايير تشمل التشابه، الصلة، الواقعية، المعلوماتية، التماسك، والدقة. تتناول هذه الدراسة أسئلة بحثية رئيسية: كيف تنتقل معايير الحكم التي يقدمها نموذج اللغة الكبير إلى تقييم الملخصات المهيكلة؟ كيف تقارن الخصائص التي يولدها LLM مع تلك المعلّمة يدويًا؟ ما هي الفروقات في الأداء بين نماذج LLM المختلفة؟ كيف يؤثر مقدار المدخلات السياقية على جودة التوليد؟ يقدم إطار التقييم الناتج، KGEval، نهجًا قابلًا للتخصيص يمكن توسيعه إلى رسوم بيانية معرفية ومجالات تطبيق متنوعة. تكشف نتائجنا التجريبية عن أنماط مميزة في تحيزات المقيمين، وحساسية السياق، وأداء النماذج المتبادل، مما يبرز كلًا من الإمكانات والتحديات في دمج LLMs في تقييم العلم المهيكل.
درس نيتشكاهين وآخرون (سات ،) هذا السؤال.