حول سير العمل ورائحة عمليات قوائم المتصدرين (LBOps): دراسة استكشافية لقوائم المتصدرين لنماذج الأساس

لقد أظهرت نماذج الأساس (FM)، مثل النماذج اللغوية الكبيرة (LLMs)، التي هي نماذج تعلم آلي (ML) على نطاق واسع، قدرة ملحوظة على التكيف في مهام هندسة البرمجيات (SE) المختلفة، مثل إكمال الشيفرة وفهم الشيفرة وتطوير البرمجيات. نتيجة لذلك، أصبحت قوائم المتصدرين لنماذج الأساس، وخاصة تلك التي تستضيفها منصات السحابة، أدوات أساسية لفرق SE لمقارنة واختيار أفضل نماذج FM من جهات خارجية لمنتجاتهم وأغراضهم المحددة. ومع ذلك، فإن نقص الإرشادات الموحدة لتقييم ومقارنة نماذج الأساس يهدد شفافية قوائم المتصدرين ويحد من قدرة الأطراف المعنية على إجراء اختيار فعال لنماذج FM. كخطوة أولى نحو معالجة هذا التحدي، تركز أبحاثنا على فهم كيف تعمل هذه القوائم في سيناريوهات العالم الحقيقي ("عمليات قوائم المتصدرين") وتحديد الفخاخ المحتملة في القوائم ومجالات التحسين ("روائح القوائم"). في هذا الصدد، نقوم بإجراء مراجعة أدبية متعددة الأصوات لجمع ما يصل إلى 721 قائمة متصدر، وبعد ذلك نقوم بفحص وثائقهم والانخراط في التواصل المباشر مع مشغلي القوائم لفهم أنماط سير العمل لديهم. باستخدام ترتيب البطاقات والاتفاق المتفاوض عليه، نقوم بتحديد 5 أنماط سير عمل فريدة ونطور نموذج نطاق يحدد المكونات الأساسية وتفاعلها ضمن قوائم المتصدرين لنماذج الأساس. ثم نقوم بتحديد 8 أنواع فريدة من روائح القوائم في LBOps. من خلال تخفيف هذه الروائح، يمكن لفرق SE تحسين الشفافية والمساءلة والتعاون في ممارسات LBOps الحالية، مما يعزز نظاماً بيئياً أكثر قوة وموثوقية لمقارنة واختيار نماذج FM.