يمكن تقدير تدرج المحولات متعددة الطبقات في وقت شبه خطي تقريباً

تشكل التعقيدات الحسابية التربيعية في آلية الانتباه الذاتي للهياكل الشائعة للمحولات تحديات كبيرة للتدريب والاستدلال، خاصة من حيث الكفاءة ومتطلبات الذاكرة. لتناول هذه التحديات، يقدم هذا البحث طريقة حساب سريعة جديدة لحساب التدرجات في نماذج المحولات متعددة الطبقات. تتيح طريقتنا حساب التدرجات لنموذج المحولات بأكمله في وقت شبه خطي n^1+o (1)، حيث n هو طول تسلسل الإدخال. يقلل هذا الاختراق بشكل كبير من الاختناق الحاسوبي المرتبط بالتعقيد الزمني التربيعي التقليدي. نظريتنا تنطبق على أي دالة خسارة وتحافظ على خطأ تقريبي محدود عبر النموذج بأكمله. علاوة على ذلك، يمكن أن تبقى تحليلنا صالحاً عندما يحتوي نموذج المحولات متعددة الطبقات على العديد من الوحدات الفرعية العملية، مثل الاتصال المتبقي، والماسك العشوائي، والانتباه متعدد الرؤوس. من خلال تحسين كفاءة حساب التدرجات في نماذج اللغة الكبيرة، نأمل أن يسهل عملنا التدريب والنشر الأكثر فعالية لنماذج اللغة ذات السياق الطويل استنادًا إلى نتائجنا النظرية.