أوتوماتا الحالة المحدودة والشبكات التكرارية البسيطة

نستكشف بنية شبكة تم تقديمها من قبل إلمان (1988) لتوقع العناصر المتعاقبة في تسلسل. تستخدم الشبكة نمط التنشيط على مجموعة من الوحدات المخفية من الخطوة الزمنية t−1، مع العنصر t، لتوقع العنصر t + 1. عندما يتم تدريب الشبكة على سلاسل من قواعد الحالة النهائية المحددة، يمكنها أن تتعلم أن تكون معترف حالة نهائية مثالي لتلك القاعدة. عندما تمتلك الشبكة عددًا أدنى من الوحدات المخفية، فإن الأنماط على الوحدات المخفية تت correspond إلى العقد في القاعدة، على الرغم من أن هذه المطابقة ليست ضرورية ليعمل الشبكة كمعترف حالة نهائية مثالي. نستكشف الشروط التي يمكن من خلالها أن تحمل الشبكة معلومات حول الظروف المتسلسلة البعيدة عبر العناصر المتداخلة. يتم الحفاظ على هذه المعلومات بشكل نسبي بسهولة إذا كانت ذات صلة في كل خطوة متوسطة؛ ومن المرجح أن تُفقد عندما لا تعتمد العناصر المتداخلة عليها. من الوهلة الأولى، قد يشير هذا إلى أن مثل هذه الشبكات ليست ذات صلة باللغة الطبيعية، التي قد تمتد فيها الاعتمادات إلى مسافات غير محددة. ومع ذلك، فإن تضمينات اللغة الطبيعية ليست مستقلة تمامًا عن المعلومات السابقة. يظهر المحاكة النهائية أن الظروف المتسلسلة بعيدة المدى يمكن تشفيرها بواسطة الشبكة حتى لو كانت خصائص إحصائية دقيقة فقط من السلاسل المدمجة تعتمد على المعلومات المبكرة.