تقسيم الرموز أكثر من مجرد ضغط

تقسيم الرموز هو خطوة أساسية في مهام معالجة اللغة الطبيعية (NLP)، حيث يجسر بين النص الخام ونماذج اللغة. تنشأ طرق تقسيم الرموز الحالية مثل ترميز الزوج البايت (BPE) من مجال ضغط البيانات، وقد تم الاقتراح أن فعالية BPE ناتجة عن قدرته على تكثيف النص إلى عدد صغير نسبيًا من الرموز. نختبر الفرضية القائلة بأن عددًا أقل من الرموز يؤدي إلى أداء أفضل في المراحل التالية، من خلال تقديم PathPiece، وهو مُقسم جديد يقوم بتقسيم نص الوثيقة إلى الحد الأدنى من عدد الرموز لقاموس معين. من خلال تجارب موسعة نجد أن هذه الفرضية ليست صحيحة، مما يثير الشكوك حول فهم الأسباب وراء فعالية تقسيم الرموز. لفحص العوامل الأخرى التي تلعب دورًا، نقوم بتقييم قرارات التصميم عبر المراحل الثلاث لجميع تقسيم الرموز: ما قبل تقسيم الرموز، بناء القاموس، والتجزئة، مما يقدم رؤى جديدة حول تصميم مُقسّمات فعالة. بالتحديد، نوضح أهمية ما قبل تقسيم الرموز وفوائد استخدام BPE لتهيئة بناء القاموس. نقوم بتدريب 64 نموذج لغة مع تقسيمات رموز مختلفة، تتراوح في الحجم من 350M إلى 2.4B من المعلمات، جميعها متاحة للجمهور.