عن متانة نماذج اللغة للإجابة على الأسئلة الجدولية

لقد أظهرت النماذج اللغوية الكبيرة (LLMs) ، التي عُرفت في الأصل بقدرتها على النجاح في مهام فهم النصوص المختلفة ، أنها قادرة أيضًا على التعامل مع مهام فهم الجداول دون تدريب محدد. في حين أن الأبحاث السابقة استكشفت قدرات LLMs مع مهام مجموعات البيانات الجدولية ، فإن دراستنا تقيم تأثير التعلم في السياق ، ونطاق النموذج ، وضبط التعليمات ، والانحيازات المتعلقة بالمجال على الإجابة على الأسئلة الجدولية (TQA). نقيم متانة LLMs على مجموعة بيانات TQA المستندة إلى WTQ من ويكيبيديا وتلك المستندة إلى التقارير المالية TAT-QA ، مع التركيز على قدرتها على تفسير البيانات الجدولية بشكل موثوق تحت مختلف الإضافات والاضطرابات. تشير نتائجنا إلى أن التعليمات تعزز الأداء بشكل ملحوظ ، حيث تظهر النماذج الحديثة مثل Llama3 متانة أكبر مقارنة بالإصدارات السابقة. ومع ذلك ، لا تزال هناك مشكلات تتعلق بتلوث البيانات وموثوقية التطبيق ، خاصة مع WTQ. نبرز الحاجة إلى تحسين المنهجيات ، بما في ذلك آليات الانتباه الذاتي المدركة للهياكل وكيفية التعامل بشكل أفضل مع البيانات الجدولية المحددة بالمجال ، لتطوير LLMs أكثر موثوقية لفهم الجداول.