نظرة عامة على BioCreative II.5

نقدم نتائج تقييم BioCreative II.5 بالتعاون مع تجربة FEBS Letters، حيث قام المؤلفون بإنشاء ملخصات رقمية منظمة لالتقاط المعلومات حول تفاعلات البروتينات. قام التحدي BioCreative II.5 بتقييم التعليقات التلقائية من 15 فريقًا في تعدين النصوص بناءً على معيار ذهبي تم إنشاؤه من خلال تسوية التعليقات من المحررين، والمؤلفين، والأنظمة الآلية. كانت المهام هي ترتيب المقالات للتنظيم بناءً على تفاعلات البروتينات القابلة للتنظيم؛ تحديد البروتينات المتفاعلة (باستخدام معرفات UniProt) في المقالات الإيجابية (61)؛ وتحديد أزواج البروتينات المتفاعلة. كان هناك 595 مقالاً نصياً كاملاً في مجموعة اختبار التقييم، بما في ذلك تلك التي تحتوي على تفاعلات بروتينية قابلة للتنظيم وتلك التي لا تحتوي عليها. كانت المقاييس الرئيسية للتقييم هي المنطقة المترجمة تحت منحنى الدقة/الاسترجاع (AUC iP/R)، وقياس F (المتوازن). بالنسبة لتصنيف المقالات، كانت أفضل AUC iP/R هي 0.70؛ بالنسبة للبروتينات المتفاعلة، حقق أفضل نظام استرجاعًا معقولًا (0.73) ومنطقة مترجمة تحت منحنى الدقة/الاسترجاع (0.58)، بعد تصفية الأنواع غير الصحيحة ورسم الأشكال المتجانسة؛ بالنسبة لأزواج البروتينات المتفاعلة، كان أعلى استرجاع (منقح، مرسوم) هو 0.42 و AUC iP/R كان 0.29. حسنت أنظمة التجميع الأداء لمهمة البروتينات المتفاعلة.