نماذج الأساس المشتركة: التعلم التعاوني والحفاظ على الخصوصية لنماذج كبيرة

أظهرت نماذج الأساس (FMs)، مثل LLaMA وBERT وGPT وViT وCLIP، نجاحاً ملحوظاً في مجموعة واسعة من التطبيقات، مستفيدة من قدرتها على الاستفادة من كميات هائلة من البيانات للتدريب المسبق. ومع ذلك، فإن تحسين نماذج الأساس غالباً ما يتطلب الوصول إلى بيانات حساسة، مما يثير مخاوف بشأن الخصوصية ويحد من إمكانية تطبيقها في العديد من المجالات. في هذا البحث، نقترح نموذج نماذج الأساس المشتركة (FFMs)، الذي يجمع بين فوائد نماذج الأساس والتعلم الفيدرالي (FL) لتمكين التعلم التعاوني والحفاظ على الخصوصية عبر عدة مستخدمين نهائيين. نحن نناقش الفوائد والتحديات المحتملة لدمج التعلم الفيدرالي في دورة حياة نماذج الأساس، بما في ذلك التدريب المسبق، والتعديل الدقيق، والتطبيق. كما نحدد آفاق البحث المستقبلية المحتملة في مجال FFMs، بما في ذلك التدريب المسبق لـ FFM، وتعديل FFM الدقيق، وضبط التنبيه الفيدرالي، مما يسمح بتطوير نماذج أكثر تخصيصاً ووعياً بالسياق مع ضمان خصوصية البيانات. وعلاوة على ذلك، نستكشف إمكانية التعلم المستمر/مدى الحياة في FFMs، حيث قد يؤدي زيادة القدرة الحاسوبية في الحافة إلى فتح إمكانيات لتحسين نماذج الأساس باستخدام بيانات خاصة جديدة قريبة من مصدر البيانات. تقدم مفاهيم FFM المقترحة إطاراً مرناً وقابلًا للتوسع لتدريب نماذج اللغة الكبيرة بطريقة تحافظ على الخصوصية، مما يمهد الطريق للتقدمات اللاحقة في تدريب نماذج الأساس والتعلم الفيدرالي.