Key points are not available for this paper at this time.
الملخص الكلام هو عملية متناسقة للغاية تتطلب تحكمًا دقيقًا في شكل وحركة المجرى الصوتي لإنتاج أصوات واضحة بينما يتم توليد أنماط تدفق زفير فريدة في الوقت نفسه. تقنية تصوير شليرين تصور تدفقات الهواء مع تباينات طفيفة في الكثافة. يعتقد أنه يمكن للتدفقات الكلامية التي يتم التقاطها بواسطة شليرين، عند تحليلها باستخدام مجموعة هجينة من الشبكة العصبية الالتفافية (CNN) والشبكة الذاكرة القصيرة والطويلة الأمد (LSTM)، التعرف على نطق الأبجدية، مما يسهل التعرف التلقائي على الكلام وعلاج اضطرابات الكلام. تقيّم هذه الدراسة جدوى استخدام شبكة تصنيف الفيديو القائمة على CNN للتمييز بين تدفقات الكلام المتعلقة بالأحرف الأربعة الأولى: /A/، /B/، /C/، و /D/. تم تطوير نظام بصري باستخدام شليرين، وتم تسجيل تدفقات الكلام لنطق الأبجدية لشخصين بمعدل اكتساب 60 إطارًا في الثانية. تم استخدام ما مجموعه 640 مقطع فيديو، كل منها يستمر لمدة 1 ثانية، لتدريب واختبار شبكة هجينة من CNN و LSTM. تم إجراء تحليلات صوتية للأصوات المسجلة لفهم الاختلافات الصوتية بين الأربعة أحرف. تم تدريب الشبكة الهجينة على بيانات منفصلة من أربع مجموعات بيانات بأحجام مختلفة (أي 20، 30، 40، 50 فيديو لكل أبجدية)، جميعها حققت دقة تزيد عن 95% في تصنيف مقاطع الفيديو لنفس الشخص. ومع ذلك، تراجعت أداء الشبكة عند اختبارها على تدفقات الكلام من مشارك مختلف، مع انخفاض الدقة إلى حوالي 44%، مما يشير إلى تفاوت كبير بين المشاركين في نطق الأبجدية. أدت إعادة تدريب الشبكة باستخدام مقاطع فيديو من كلا المشاركين إلى تحسين الدقة إلى 93% على المشارك الثاني. أشار تحليل مقاطع الفيديو غير المصنفة بشكل صحيح إلى أن عوامل مثل جودة الفيديو المنخفضة وحجم الرأس غير المتناسب أثرت على الدقة. تسلط هذه النتائج الضوء على إمكانيات التعرف على الكلام باستخدام دعم CNN وعلاج النطق باستخدام تدفقات النطق، على الرغم من وجود تحديات قائمة في توسيع مجموعة الأبجدية و cohort المشاركين.
تولى وآخرون (الأربعاء) دراسة هذا السؤال.