التوازي الذاتي لاستدلال نموذج المحولات على أجهزة الحافة المتنوعة

إن استخدام نماذج الشبكات العصبية العميقة القائمة على المحولات المتطورة في بيئات الحافة يحمل وعدًا بتحسين الإنتاجية للمهام الذكية. ومع ذلك، فإن نشر هذه النماذج على أجهزة الحافة ذات الموارد المحدودة يواجه تحديات كبيرة في الأداء. لقد حاولت الحلول السابقة توزيع مهام الحساب عبر الأجهزة وإجراء استدلالات متوازية، لكنها غالبًا ما تفشل في تحقيق أهداف مستوى الخدمة (SLO). هذه القيود تنشأ من عدم قدرتها على استغلال التوازي بفاعلية في النماذج القائمة على المحولات وأخذ تنوع الموارد لأجهزة الحافة في الاعتبار. في هذه الورقة، نقترح Hepti، إطار عمل عملي مصمم لتسهيل الاستدلال المتوازي لنماذج الشبكات العصبية العميقة القائمة على المحولات في بيئات الحافة المتنوعة. يتمتع Hepti بـ: 1) فهم لهندسة نموذج المحولات لتمكين الاستدلال المتوازي الفعال و2) تحسين أحمال العمل الديناميكية للتكيف مع تغير قدرات الشبكة والموارد للأجهزة. أكدت تقييماتنا أن Hepti يقيم بشكل ذاتي تنوع الموارد لأجهزة الحافة وحالة الشبكة. علاوة على ذلك، يحقق Hepti تحسينًا في الأداء يصل إلى 49.1% و37.1% مقارنة بنهج الاستدلال المحلي وأساليب التوازي الحديثة على نموذج BERT-Large.