LLM-Inference-Bench: تقييم الأداء الاستدلالي لنماذج اللغة الكبيرة على مسرعات الذكاء الاصطناعي

لقد دفعت نماذج اللغة الكبيرة (LLMs) تقدمًا مبتكرًا في عدة مجالات وتستخدم بشكل شائع في تطبيقات توليد النصوص. ومع ذلك، فإن المتطلبات الحاسوبية لهذه النماذج المعقدة تشكل تحديات كبيرة، مما يتطلب تسريعًا فعالًا للأجهزة. يُعتبر تقييم أداء نماذج LLMs عبر منصات الأجهزة المتنوعة أمرًا حاسمًا لفهم قدرتها على التوسع وخصائص الإنتاجية. نقدم LLM-Inference-Bench، وهو مجموعة شاملة لتقييم أداء الاستدلال على الأجهزة لنماذج LLMs. نقوم بتحليل شامل لمنصات الأجهزة المتنوعة، بما في ذلك وحدات معالجة الرسوميات من نيفيديا وAMD ومسرعات الذكاء الاصطناعي المتخصصة، إنتل هابانا وSambaNova. تشمل تقييماتنا عدة أطر ونماذج للاستدلال على LLM من عائلات LLaMA وMistral وQwen مع 7B و70B من المعلمات. تكشف نتائج تقييم الأداء لدينا عن نقاط القوة والقيود لمختلف النماذج ومنصات الأجهزة وأطر الاستدلال. نقدم لوحة معلومات تفاعلية للمساعدة في تحديد التكوينات لتحقيق الأداء الأمثل لمنصة الأجهزة المعينة.