RB-GAT: نموذج تصنيف نصوص يعتمد على RoBERTa-BiGRU مع شبكة انتباه رسومية

مع تطور التعلم العميق، تم استخدام العديد من الأساليب المعتمدة على شبكات الأعصاب الرسومية (GNN) لتصنيف النصوص. ومع ذلك، تواجه شبكات GNN صعوبات في التقاط المعلومات النصية السياقية داخل تسلسل الوثائق. لمعالجة هذا، تم اقتراح نموذج جديد لتصنيف النصوص، RB-GAT، من خلال دمج تضمين RoBERTa-BiGRU وشبكة انتباه رسومية متعددة الرؤوس (GAT). أولاً، يتم استغلال نموذج RoBERTa المدرب مسبقًا لتعلم تضمينات الكلمات والنصوص في سياقات مختلفة. ثانيًا، يتم استخدام وحدة البوابة المتكررة ثنائية الاتجاه (BiGRU) لالتقاط الاعتمادات الطويلة الأمد ومعلومات الجمل ثنائية الاتجاه من سياق النص. بعد ذلك، يتم تطبيق شبكة انتباه الرسوم البيانية متعددة الرؤوس لتحليل هذه المعلومات، والتي تخدم كميزة عقدة للوثيقة. أخيرًا، يتم إنتاج نتائج التصنيف من خلال طبقة Softmax. تظهر النتائج التجريبية على خمسة مجموعات بيانات مرجعية أن طريقتنا يمكن أن تحقق دقة تبلغ 71.48%، 98.45%، 80.32%، 90.84% و95.67% على Ohsumed وR8 وMR و20NG وR52 على التوالي، مما هو أفضل من تسع طرق حالية لتصنيف النصوص.