تنفيذ تقنيات التعلم الآلي للتنبؤ المستمر بالعواطف من تسجيلات الصوت المتجانسة المقطعة

مقدمة يُعتبر التعرف على المشاعر من تسجيلات الصوت مجالاً سريع التطور، مع آثار كبيرة على الذكاء الاصطناعي والتفاعل بين الإنسان والكمبيوتر. تقدم هذه الدراسة طريقة جديدة للكشف عن المشاعر من عينات صوتية قصيرة مدتها 1.5 ثانية، بهدف تحسين الدقة والكفاءة في تقنيات التعرف على المشاعر. الطرق استخدمنا 1,510 عينة صوتية فريدة من قاعدتين بيانات باللغة الألمانية والإنجليزية لتدريب نماذجنا. قمنا باستخراج ميزات مختلفة للتنبؤ بالعواطف، باستخدام الشبكات العصبية العميقة (DNN) للتحليل العام للميزات، والشبكات العصبية التلافيفية (CNN) لتحليل الطيف، ونموذج هجيني يجمع بين كلا النهجين (C-DNN). تناولت الدراسة التحديات المتعلقة بتباين البيانات واختلافات اللغة وتعقيدات تقليم العينات الصوتية. النتائج أظهرت نماذجنا دقة تفوق بشكل كبير التخمين العشوائي، حيث تطابقت بشكل وثيق مع معايير التقييم البشري. مما يدل على فعالية نهجنا في التعرف على الحالات العاطفية من مقاطع صوتية قصيرة. المناقشة على الرغم من التحديات المتعلقة بدمج مجموعات بيانات متنوعة وإدارة عينات صوتية قصيرة، تشير نتائجنا إلى إمكانية كبيرة لهذه المنهجية في الكشف عن المشاعر في الوقت الفعلي من الكلام المستمر. يمكن أن تسهم هذه المنهجية في تحسين الذكاء العاطفي للذكاء الاصطناعي وتطبيقاته في مجالات متنوعة.