البث التكهناتي: استدلال سريع لنماذج اللغة الكبيرة دون النماذج المساعدة

يعد فك تشفير التكهنات تقنية بارزة لتسريع استدلال نموذج لغة كبير مستهدف بناءً على توقعات نموذج مسودة مساعد. على الرغم من فعاليتها، غالباً ما تتطلب في الإعدادات الخاصة بالتطبيقات ضبط دقيق لكل من النماذج المسودة والمستهدفة لتحقيق معدلات قبول عالية. مع زيادة عدد المهام المنخفضة، تضيف هذه النماذج المسودة تعقيدًا كبيرًا على أنظمة الاستدلال. نحن نقترح البث التكهناتي، وهو طريقة فك تشفير تكهني باستخدام نموذج واحد يدمج المسودة في النموذج المستهدف من خلال تغيير هدف الضبط الدقيق من توقع الرمز التالي إلى توقع n-gram المستقبلي. يسرع البث التكهناتي عملية فك التشفير بمعدل 1.8 - 3.1X في مجموعة متنوعة من المهام، مثل التلخيص والاستفسارات المنظمة وتمثيل المعاني، دون التضحية بجودة الجيل. بالإضافة إلى ذلك، يعد البث التكهناتي فعالًا في استخدام المعلمات. حيث يحقق تسريعًا مكافئًا/أعلى من الهياكل على طراز ميدوسا بينما يستخدم حوالي 10000 مرة أقل من المعلمات الإضافية، مما يجعله مناسبًا تمامًا للأجهزة المحدودة الموارد.