نماذج اللغة المعززة عبر الإنترنت من خلال التوجيه بعدد قليل من المحاولات للإجابة على الأسئلة في مجالات مفتوحة

في هذا العمل، نهدف إلى الاستفادة من القدرات الفريدة لنماذج اللغة الكبيرة (LSLMs) بعدد قليل من المحاولات للتغلب على بعض التحديات المتعلقة بتأسيسها على معلومات واقعية ومحدثة. مستلهمين من نماذج اللغة شبه المعلمية (LMs)، التي تعتمد على أدلة مسترجعة خارجية في قراراتها، نستخدم التوجيه بعدد قليل من المحاولات لتعلم تكييف نماذج اللغة على المعلومات المسترجعة من الويب باستخدام بحث Google، وهو مصدر معرفي واسع ومتحديث باستمرار. لا تتضمن طريقتنا التعديل الدقيق أو تعلم معامل إضافي، مما يجعلها قابلة للتطبيق على أي نموذج لغة، وبالتالي تقدم خط أساس قوي. في الواقع، نجد أن نماذج اللغة المتكيّفة مع الويب تتفوق على أداء نماذج الكتب المغلقة ذات الأحجام المماثلة أو حتى الأكبر منها في الإجابة على الأسئلة في مجالات مفتوحة. أخيرًا، نجد أن زيادة حسابات وقت الاستدلال للنماذج، التي تتحقق من خلال استخدام أدلة مسترجعة متعددة لتوليد إجابات متعددة تليها مرحلة إعادة ترتيب تستخدم الدرجات التي أنشأتها نفس نماذج اللغة، تؤدي إلى أداء أفضل وتخفف من الأداء المنخفض لنماذج اللغة قليلة المحاولات الأصغر. بشكل عام، تشير نتائجنا إلى أنه قد يكون من المفيد تبطيء السباق نحو أكبر نموذج، وبدلاً من ذلك تحويل الانتباه نحو إيجاد طرق أكثر فعالية لاستخدام النماذج، بما في ذلك، وليس مقتصرًا على، تحسين التوجيه أو زيادة حسابات وقت الاستدلال.