Key points are not available for this paper at this time.
الخلفية: إن وفرة بيانات النصوص الطبية بالإضافة إلى التقدم في معالجة اللغة الطبيعية (NLP) تؤدي إلى تطبيقات جديدة في NLP الطبية (BioNLP). تعتمد هذه التطبيقات، أو المهام، على توفر نماذج لغوية (LMs) متخصصة في المجال تم تدريبها على كمية ضخمة من البيانات. معظم نماذج LMs المتخصصة الموجودة تعتمد على تمثيلات الترميز ثنائية الاتجاه من بنية المحولات (BERT) والتي لها قيود، ويمكن اعتبار عموميتها غير مثبتة نظرًا لعدم وجود نتائج أساسية بين مهام BioNLP الشائعة. النتائج: نقدم 8 متغيرات من BioALBERT، وهو تكييف متخصص في المجال لتمثيلات الترميز ثنائية الاتجاه خفيفة الوزن من المحولات (ALBERT)، المدرب على مجموعات بيانات طبية (PubMed وPubMed Central) وسريرية (MIMIC-III) وتم تحسينه لـ 6 مهام مختلفة عبر 20 مجموعة بيانات مرجعية. تظهر التجارب أن متغيرًا كبيرًا من BioALBERT تم تدريبه على PubMed يتفوق على ما هو موجود حاليًا على الاعتراف بالكيانات المسماة (+ 11.09% تحسين في نتيجة BLURB)، استخراج العلاقات (+ 0.80% نتيجة BLURB)، تشابه الجمل (+ 1.05% نتيجة BLURB)، تصنيف الوثائق (+ 0.62% نتيجة F1)، والإجابة على الأسئلة (+ 2.83% نتيجة BLURB). يمثل مستوى جديد من الأداء الرائد في 5 من أصل 6 مهام BioNLP المرجعية. الاستنتاجات: حقق المتغير الكبير من BioALBERT المدرب على PubMed نتيجة BLURB أعلى من النماذج الرائدة السابقة في 5 من أصل 6 مهام BioNLP المرجعية. اعتمادًا على المهمة، تفوقت 5 متغيرات مختلفة من BioALBERT على النماذج الرائدة السابقة في 17 من أصل 20 مجموعة بيانات مرجعية، مما يظهر أن نموذجنا قوي وقابل للتعميم في المهام الشائعة لـ BioNLP. لقد جعلنا BioALBERT متاحًا مجانًا مما سيساعد مجتمع BioNLP على تجنب تكاليف التدريب الحسابية وتأسيس مجموعة جديدة من الأسس للجهود المستقبلية عبر مجموعة واسعة من مهام BioNLP.
درس نسيم وآخرون (الخميس) هذا السؤال.
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: