التقييم المفتوح لتوقع معدل النقر

توقع معدل النقر (CTR) هو مهمة حاسمة للعديد من التطبيقات، حيث إن دقته تؤثر بشكل مباشر على تجربة المستخدم وإيرادات المنصة. في السنوات الأخيرة، تم دراسة توقع CTR على نطاق واسع في كل من الأكاديميا والصناعة، مما أدى إلى تنوع كبير في نماذج توقع CTR. للأسف، لا يزال هناك نقص في المعايير القياسية وبروتوكولات التقييم الموحدة لأبحاث توقع CTR. وهذا يؤدي إلى نتائج تجريبية غير قابلة للتكرار أو حتى غير متسقة بين الدراسات القائمة، مما يحد إلى حد كبير من القيمة العملية والتأثير المحتمل لأبحاثهم. في هذا العمل، نهدف إلى إجراء تقييم مفتوح لتوقع CTR وتقديم مقارنة صارمة بين النماذج المختلفة بطريقة قابلة للتكرار. لهذا الغرض، أجرينا أكثر من 7000 تجربة لأكثر من 12000 ساعة GPU في المجمل لإعادة تقييم 24 نموذجًا موجودًا على إعدادات بيانات متعددة. بشكل مفاجئ، تُظهر تجاربنا أنه مع بحث كافٍ عن المعلمات الفائقة وضبط النماذج، فإن العديد من النماذج العميقة لديها فروق أصغر من المتوقع. كما تكشف النتائج أن إحراز تقدم حقيقي في نمذجة توقع CTR هو فعلاً مهمة بحثية صعبة للغاية. نعتقد أن عملنا في التقييم يمكن أن يسمح أيضًا للباحثين بتقدير فعالية النماذج الجديدة بسهولة، بل ويجعلهم يقارنون بشكل عادل مع أحدث ما توصلت إليه التكنولوجيا. لقد أطلقنا علنًا أدوات التقييم وبروتوكولات التقييم وإعدادات التجارب الخاصة بعملنا لتعزيز أبحاث قابلة للتكرار في هذا المجال.