نموذج النقطة العامة المُسبق التدريب باستخدام التشفير الذاتي والتنبؤ الذاتي

تشمل هياكل ما قبل التدريب لنماذج اللغة الكبيرة أنواعًا متنوعة، بما في ذلك نماذج التشفير الذاتي، نماذج التنبؤ الذاتي، ونماذج المرمز-المفكك. نفترض أن أي وضعية يمكن أن تستفيد من نموذج لغة كبير، طالما أنها تخضع للتكميم المتجه لتصبح رموزًا منفصلة. مستلهمين من نموذج اللغة العامة، نقترح نموذج نقطة عامة (GPM) يدمج بسلاسة مهام التشفير الذاتي والتنبؤ الذاتي في مُحوّل سحابة النقاط. هذا النموذج متعدد الاستخدامات، مما يسمح بالتحسين الدقيق لمهام تمثيل سحابة النقاط في المصب، بالإضافة إلى مهام التوليد غير المشروط والمشروط. يعزز GPM التنبؤ المقنّع في التشفير الذاتي من خلال أشكال متنوعة من مهام حشو القناع، مما يؤدي إلى تحسين الأداء في فهم سحابة النقاط. بالإضافة إلى ذلك، يظهر GPM نتائج تنافسية للغاية في مهام توليد سحابة النقاط غير المشروط، حيث يظهر أيضًا إمكانية مهام التوليد المشروط من خلال تعديل المعلومات الشرطية للمدخلات. مقارنةً بنماذج مثل Point-BERT وMaskPoint وPointMAE، يحقق GPM أداءً أفضل في مهام فهم سحابة النقاط. علاوة على ذلك، يبرز دمج التنبؤ الذاتي والتشفير الذاتي ضمن نفس المحوّل مرونته عبر مهام المصب المختلفة. الأكواد متاحة على https://github.com/gentlefress/GPM