TabularFM: إطار مفتوح لنماذج الأسس الجدولية

تعتبر النماذج التأسيسية (FMs)، المدربة مسبقًا على مجموعات بيانات واسعة باستخدام تقنيات التعلم الذاتي، قادرة على تعلم أنماط عامة من كميات كبيرة من البيانات. وهذا يقلل من الحاجة إلى مجموعات بيانات موسعة ذات تسميات لكل مهمة جديدة، مما يوفر الوقت والموارد من خلال الاستفادة من قاعدة المعرفة الواسعة التي تم إنشاؤها خلال التدريب المسبق. لقد ركزت معظم الأبحاث على النماذج التأسيسية بشكل أساسي على البيانات غير المنظمة، مثل النصوص والصور، أو البيانات شبه المنظمة، مثل البيانات الزمنية. ومع ذلك، كانت هناك اهتمام محدود بالبيانات المنظمة، مثل البيانات الجدولية، والتي، على الرغم من انتشارها، لا تزال أقل دراسة بسبب نقص مجموعات البيانات النظيفة والبحث غير الكافي حول قابلية نقل النماذج التأسيسية لمهام البيانات الجدولية المختلفة. استجابةً لهذه الفجوة، نقدم إطاراً يسمى TabularFM (https://tabularfm.github.io/)، الذي يدمج أحدث الطرق لتطوير النماذج التأسيسية بشكل خاص للبيانات الجدولية. يتضمن ذلك تنويعات من الهياكل العصيبة مثل GANs وVAEs وTransformers. لقد قمنا بتجميع مليون مجموعة بيانات جدولية وأصدرنا نسخًا نظيفة لتسهيل تطوير النماذج التأسيسية الجدولية. قمنا بتدريب النماذج التأسيسية مسبقًا على هذه البيانات المجموعة، وقمنا بتقييم طرق تعلم مختلفة على هذه المجموعات، وأصدرنا النماذج المدربة مسبقًا مع لوحات القيادة للدراسات المقارنة المستقبلية. يوفر نظامنا مفتوح المصدر بالكامل تحليلاً شاملاً لقابلية نقل النماذج التأسيسية الجدولية. من خلال إصدار هذه المجموعات من البيانات، والنماذج المدربة مسبقًا، ولوحات القيادة، نهدف إلى تعزيز صحة وقابلية استخدام النماذج التأسيسية الجدولية في المستقبل القريب.