إطار النمذجة الصوتية البصرية لتميز التعرف على الكلام المصاب بعسر الكلام باستخدام التعزيز البصري الاصطناعي والتعلم بالنقل

عسر الكلام هو اضطراب حركي في الكلام يؤثر على قدرة الفرد على السيطرة على عضلاته، مما يؤثر بشكل خطير على قدرته على التواصل وأداء التفاعل الرقمي. لقد حققت أنظمة التعرف التلقائي على الكلام (ASR) تحسينات هائلة ولكنها محدودة في الكلام المصاب بعسر الكلام، وبالتحديد في الحالات الشديدة حيث تكون غير قادرة على وصف الأصوات بشكل مستمر. أيضًا، تتوفر لها بيانات تدريب غير كافية وتصنيف غير بديهي للأصوات. نقدم تقنية نمذجة صوتية بصرية في نظام ASR مستهدف لعسر الكلام. نقترح رؤية الكلام (SV). لا يعتمد SV فقط على الصوت، بل يحول الكلام إلى تمثيلات طيفية بصرية ويدرب الشبكات العصبية العميقة على تحديد شكل الصوت بدلاً من تباين الصوت عند نطقه. هذا يقلل من الحل التقليدي لنمذجة الأصوات الصوتية المطلوبة لمعالجة التحديات المركزية لعسر الكلام. وبشكل خاص، لمواجهة ندرة البيانات، يستخدم SV تعزيز البيانات البصرية من خلال إنتاج طيفيات اصطناعية لعسر الكلام من الشبكات التنافسية التوليدية (GANs) و تشوهات الوقت-التردد. علاوة على ذلك، يتم تطبيق التعلم بالنقل للاستفادة من نماذج الكلام الصحية المدربة مسبقًا على كلام عسر الكلام من أجل المزيد من القوة العامة. نقارن SV مع الأنظمة الحالية، DeepSpeech، DysarthricGAN-ASR، و Transfer-ASR، باستخدام مجموعة بيانات UA-Speech. في 67% من المتحدثين، زاد SV من دقة التعرف بمعدل 18.5%، مع تقليل كبير في معدل خطأ الكلمات (WER) ، خاصة لعسر الكلام الشديد. من خلال اعتماد التعلم البصري، التعزيز الاصطناعي، والتعلم بالنقل في خط أنابيب واحد، يعد SV حلاً جديدًا للتغلب على مشكلة ASR لعسر الكلام ويؤسس بشكل محتمل ASR للسكان ذوي الإعاقة في الكلام مع تعزيز الوصول.