زين 2.0: الاستمرار في التدريب والتكيف لمشفّرات النص المحسّنة بواسطة N-gram

أثارت مشفّرات النص المدربة مسبقاً اهتماماً كبيراً في معالجة اللغة الطبيعية (NLP) وأظهرت قدرتها في تحقيق نتائج مبشرة في مهام مختلفة. أوضحت الدراسات الأخيرة أن الإشارات الذاتية المدعومة خارجياً (أو المعرفة المستخرجة عبر التعلم غير المراقب، مثل n-grams) مفيدة لتوفير أدلة دلالية مفيدة لفهم لغات مثل الصينية، مما يساعد على تحسين الأداء في مختلف المهام لاحقاً. لتعزيز المشفّرات بشكل أكبر، نقترح في هذه الورقة تدريب مشفّرات محسّنة بواسطة n-gram باستخدام حجم كبير من البيانات وتقنيات متقدمة للتدريب. علاوة على ذلك، نحاول توسيع نطاق المشفّر ليشمل لغات مختلفة ومجالات مختلفة، حيث تأكد أن نفس البنية قابلة للتطبيق على هذه الظروف المتنوعة وتمت ملاحظة أداء جديد رائد من قائمة طويلة من مهام NLP عبر اللغات والمجالات.