التحييد الشامل للنماذج السريرية المُحسّنة من BERT

تعتمد العديد من نتائج أحدث التقنيات في معالجة اللغة الطبيعية (NLP) على نماذج اللغة الكبيرة المدربة مسبقًا (PLMs). تتكون هذه النماذج من كميات كبيرة من المعلمات التي يتم ضبطها باستخدام كميات شاسعة من بيانات التدريب. تتسبب هذه العوامل في حفظ النماذج لأجزاء من بيانات تدريبها، مما يجعلها عرضة لمجموعة متنوعة من هجمات الخصوصية. هذا يثير القلق، خصوصًا عندما يتم تطبيق هذه النماذج في المجال السريري، حيث تكون البيانات حساسة للغاية. تُعتبر تقنية التحييد للبيانات التدريبية تقنية تحافظ على الخصوصية تهدف إلى التخفيف من هذه المشكلات. تقوم هذه التقنية تلقائيًا بتحديد واستبدال الكيانات الحساسة بنظائر واقعية ولكن غير حساسة. لقد حقق التحييد نتائج واعدة في الدراسات السابقة. ومع ذلك، لم تطبق أي دراسة سابقة التحييد على كل من بيانات ما قبل التدريب للـ PLMs وبيانات الضبط المستخدمة لحل مهام معالجة اللغة الطبيعية السريرية. تقيم هذه الدراسة التأثيرات على الأداء التنبؤي للتحييد الشامل لنماذج BERT السريرية السويدية التي تم ضبطها لخمس مهام في معالجة اللغة الطبيعية السريرية. تم إجراء عدد كبير من الاختبارات الإحصائية، مما يكشف عن أضرار طفيفة على الأداء عند استخدام بيانات ضبط مُحيّدة. كما توصلت النتائج أيضًا إلى عدم حدوث تدهور من التحييد الشامل لبيانات ما قبل التدريب وضبط البيانات. تُظهر هذه النتائج أن التحيد لبيانات التدريب لتقليل مخاطر الخصوصية يمكن أن يتم دون الإضرار بفائدة البيانات لتدريب الـ PLMs.