تقييم رسائل البريد الإلكتروني التي ينتجها الذكاء الاصطناعي: تحليل كفاءة مقارن

تبحث هذه الدراسة في كفاءة نماذج اللغة الكبيرة (LLMs) في إنتاج رسائل البريد الإلكتروني التجارية الروتينية والسلبية والمقنعة لأغراض تعليمية ضمن سياق كتابة الأعمال. بشكل محدد، تقارن النتائج التي تنتجها أربعة نماذج LLM مستخدمة على نطاق واسع (ChatGPT 3.5، Llama 2، Bing Chat، و Bard) عند تقديم سيناريوهات بريد إلكتروني مماثلة. يتم تقييم رسائل البريد الإلكتروني المولدة باستخدام معيار مفصل، مما يسمح بتقييم منهجي لأداء نماذج LLM عبر ثلاثة أنواع متميزة من البريد الإلكتروني. تظهر نتائج الدراسة أن المخرجات التي تحمل نفس المحفز تختلف بشكل كبير على الرغم من الطبيعة الصياغية للغاية لرسائل البريد الإلكتروني التجارية. على سبيل المثال، تكافح بعض نماذج LLM مع اتباع الهيكل المطلوب والحفاظ على الاتساق في النغمة، بينما تواجه أخرى مشكلات في الوحدة والاختصار. تحمل نتائج هذا البحث تداعيات على تعليم كتابة الأعمال (المعايير، تعليمات المهام، التنفيذ داخل الفصل)، فضلاً عن دمج الذكاء الاصطناعي في الاتصالات المهنية بشكل عام.