بينما يحسن تنبيه سلسلة الأفكار (CoT) الاستدلال في نماذج اللغات الكبيرة (LLMs)، فإن طول رموز الاستدلال الزائد يزيد من الكمون واستخدام ذاكرة كاش KV، وقد يؤدي حتى إلى اقتطاع الإجابات النهائية ضمن حدود السياق. نقترح ThinkLess، إطار عمل فعال في الاستدلال يوقف توليد الاستدلال مبكراً ويحافظ على جودة المخرجات دون تعديل النموذج. يكشف تحليل الانتباه أن رموز الإجابة تركز بشكل ضئيل على خطوات الاستدلال السابقة وتركز أساسًا على رمز إنهاء الاستدلال، بسبب انتقال المعلومات تحت القناع السببي. بناءً على هذه الرؤية، يُدخل ThinkLess رمز الإنهاء في مواقع أبكر لتخطي الاستدلال المكرر مع الحفاظ على نقل المعرفة الأساسية. لمنع تعطيل التنسيق الناتج عن الإيقاف المبكر، يستخدم ThinkLess آلية تنظيم خفيفة الوزن، تعتمد على قدرة النموذج الفطرية على اتباع التعليمات لإنتاج إجابات منظمة جيدًا. بدون تعديل إضافي أو بيانات مساعدة، يحقق ThinkLess دقة مماثلة لفك تشفير CoT الكامل مع تقليل كبير في زمن وفرة الذاكرة.
لي وآخرون (الأربعاء) درسوا هذا السؤال.