هيكل الوثيقة في نماذج اللغة الكبيرة

الوثائق الطويلة ضرورية في نقل المعرفة وعادةً ما تستخدم تنظيمًا هيكليًا لتسهيل الفهم. بينما يمكن لنماذج اللغة الكبيرة معالجة النصوص الطويلة، لا يزال من غير الواضح إلى أي مدى تعترف وتستخدم هذه المعلومات الهيكلية. أظهرت الأبحاث السابقة أن هيكل الوثيقة يمكن أن يحسن أداء المهام اللاحقة في نماذج اللغة المدربة مسبقًا، لكن تأثيره على نماذج اللغة الكبيرة لا يزال تحت الاستكشاف. في هذه الأطروحة، نقوم بدراسة منهجية لقدرة نماذج اللغة الكبيرة على فهم هيكل الوثيقة وتأثير المعلومات الهيكلية الصريحة على أداء المهام اللاحقة. لتحقيق ذلك، قمنا بتقييم نماذج Llama 3.1 8B Instruct، Llama 3.1 70B Instruct، وGPT-4o mini من خلال تقديم الوثائق بصيغ مدخلات مختلفة (نص عادي، HTML، Markdown، LaTeX) وتحليل أدائها في فهم الهيكل والمهام اللاحقة. أظهرت نتائجنا التجريبية أن نماذج اللغة الكبيرة يمكن أن تطور حدسًا هيكليًا دون معلومات هيكلية صريحة؛ ومع ذلك، فإن المدخلات المنظمة تحسن بدقة أداء النموذج في مهام فهم الهيكل. اختلف تأثير تضمين الهيكل الصريح في الوثائق عبر المهام اللاحقة: بينما قدمت ميزة واضحة في اختيار الأدلة، كانت فوائدها أكثر محدودية في مهام الإجابة على الأسئلة والتلخيص.