تقريب واحد-ضد-كل لتقدير الاحتمالات باستخدام سوفتماكس القابل للتوسع

يؤدي تمثيل سوفتماكس للاحتمالات للمتغيرات الفئوية دورًا بارزًا في التعلم الآلي الحديث وله تطبيقات عديدة في مجالات مثل التصنيف على نطاق واسع، ونمذجة اللغة العصبية، وأنظمة التوصية. ومع ذلك، فإن تقدير سوفتماكس مكلف جدًا للتخمينات على نطاق واسع بسبب التكلفة العالية المرتبطة بحساب الثابت المُنظم. هنا، نقدم تقريبًا فعالًا لاحتمالات سوفتماكس يتخذ شكل حد أدنى صارم على الاحتمالية الدقيقة. يتم التعبير عن هذا الحد كمنتج للتقديرات الزوجية، مما يؤدي إلى تقدير قابل للتوسع يعتمد على الأمثل العشوائي. يسمح لنا بتنفيذ تقدير عشوائي مزدوج من خلال أخذ عينات من كل من حالات التدريب وتسميات الفئات. نوضح أن الحد الجديد له خصائص نظرية مثيرة للاهتمام ونظهر استخدامه في مشاكل التصنيف.