سبارس مامبا: تعزيز التحكمية في نماذج حالة الفضاء الهيكلية

في هذه المقالة، نقدم مفهوم التحكمية والمراقبة إلى بنية مامبا في إطار سبارس-مامبا (S-Mamba) لتطبيقات معالجة اللغة الطبيعية (NLP). لقد تفوق تطوير نموذج حالة الفضاء الهيكلية (SSM) في الدراسات الحديثة، مثل مامبا ومامبا 2، وحل مشكلة عدم الكفاءة الحسابية للنماذج التحويلية ونماذج اللغة الكبيرة (LLMs) في تسلسلات طويلة ضمن مهام الـ NLP الصغيرة إلى المتوسطة. تتخلى بنية SSM لمامبا عن الحاجة إلى طبقة الانتباه أو كتل MLB في المحولات. ومع ذلك، لا تعزز نماذج مامبا الحالية التحكمية على معادلات حالة الفضاء في حساب مصفوفات A و B و C و D في كل خطوة زمنية، مما يزيد من التعقيد والتكلفة الحسابية المطلوبة. نُظهر في هذه المقالة أن عدد المعاملات يمكن تقليله بشكل كبير من خلال تعزيز التحكمية في معادلات حالة الفضاء في سبارس-مامبا المقترح، مع الحفاظ على الأداء. مصفوفة الحالة A ذات الأبعاد n × n قابلة للتحكم ومتفرقة، ولديها فقط n معاملات حرة. النهج الجديد سيضمن نظامًا قابلاً للتحكم ويمكن أن يكون المفتاح الأساسي لـ مامبا 3.