التكيف منخفض الرتبة لنماذج الأساس الزمنية للتنبؤ بالأنماط خارج النطاق

التكيف منخفض الرتبة (LoRA) هو تقنية مستخدمة على نطاق واسع لضبط النماذج الكبيرة المدربة مسبقًا أو الأساسية عبر أنماط ومهام مختلفة. ومع ذلك، فإن تطبيقها على بيانات السلاسل الزمنية، وخاصة ضمن النماذج الأساسية، لا يزال غير مستكشف بشكل كافٍ. تبحث هذه الورقة في تأثير LoRA على النماذج الأساسية للسلاسل الزمنية المعاصرة: Lag-Llama، MOIRAI، وChronos. نوضح قدرة LoRA على ضبط النموذج لتنبؤ العلامات الحيوية للمرضى المصابين بالإنتان في وحدات العناية المركزة، مع التأكيد على قدرة النماذج على التكيف مع أنماط جديدة لم يسبق رؤيتها. تهدف دمج LoRA إلى تعزيز أداء التنبؤ مع تقليل العيوب المرتبطة بضبط النماذج الكبيرة على بيانات محدودة في نطاق معين. تُظهر تجاربنا أن ضبط LoRA للنماذج الأساسية للسلاسل الزمنية (TSFMs) يحسن التنبؤ بشكل ملحوظ مقارنة بـ TSFMs بدون تدريب مسبق، محققًا نتائج قابلة للمقارنة مع النماذج المتطورة المدربة من الصفر على أنماط مشابهة. نجري دراسات تفصيلية شاملة لاستعراض الموازنات بين عدد المعلمات القابلة للتعديل وأداء التنبؤ ونقيم تأثير تغيير رتبة مصفوفة LoRA على أداء النموذج.