نموذج لغة كبير مُعدل مفتوح المصدر لتوليد الانطباعات الإشعاعية: دراسة أداء متعدد القراء

خلفية قسم الانطباع يدمج النتائج الرئيسية لتقرير الأشعة، لكنه يمكن أن يكون ذاتياً ومتغيراً. سعينا لتعديل وتقييم نموذج لغة كبير مفتوح المصدر (LLM) في توليد الانطباعات تلقائياً من بقية تقرير الأشعة عبر طرق التصوير المختلفة والمستشفيات. الطرق في هذه الدراسة الاسترجاعية المعتمدة من لجنة المراجعة المؤسسية، جمعنا مجموعة بيانات من تقارير الأشعة المقطعية (CT) و(US) و(MRI) من مركز جامعة كاليفورنيا في سان فرانسيسكو الطبي (UCSFMC) (عدد = 372,716) ومستشفى وزوكربيرغ سان فرانسيسكو العام ومركز الصدمات (ZSFG) (عدد = 60,049)، كلاهما تحت مؤسسة واحدة. تم استخدام درجة ROUGE، وهي مقياس تقييم لغة طبيعية تلقائي يقيس تداخل الكلمات، لتقييم اللغة الطبيعية. تم إجراء دراسة قارئ مع خمسة أطباء أشعة قلبية صدرية لتقييم أداء النموذج بشكل أكثر دقة على نمط محدد (فحوصات الأشعة المقطعية للصدر) مع أساس متخصص لأطباء الأشعة. قمنا بتصنيف نتائج دراسة أداء القارئ بناءً على فئة التشخيص وطول الانطباع الأصلي لقياس تعقيد الحالة. النتائج حقق نموذج LLM درجات ROUGE-L قدرها 46.51 و44.2 و50.96 في UCSFMC وعلى التحقق الخارجي، درجات ROUGE-L قدرها 40.74 و37.89 و24.61 في ZSFG عبر طرق التصوير CT وUS وMRI على التوالي، مما يعني درجة كبيرة من التداخل بين الانطباعات التي تولدها النموذج والانطباعات المكتوبة من قبل أطباء الأشعة المتخصصين، ولكن مع تدهور معين عند التحقق الخارجي. في دراسة القارئ لدينا، حققت الانطباعات التي تم توليدها بواسطة النموذج درجات متوسطة عامة قدرها 3.56/4 و3.92/4 و3.37/4 و18.29 ثانية و12.32 كلمة و84 بينما حقق الانطباع الأصلي المكتوب من قبل أخصائي الأشعة درجات متوسطة عامة قدرها 3.75/4 و3.87/4 و3.54/4 و12.2 ثانية و5.74 كلمات و89 للدقة السريرية، الدقة النحوية، الجودة الأسلوبية، وقت التحرير، مسافة التحرير، ودرجة ROUGE-L على التوالي. حقق نموذج LLM أعلى تقييمات دقة سريرية للنتائج الحادة/الطارئة وعلى انطباعات أقصر. الاستنتاجات يمكن لنموذج LLM مفتوح المصدر معدل أن تولد انطباعات بمستوى مرضٍ من الدقة السريرية، الدقة النحوية، والجودة الأسلوبية. تُظهر دراسة أداء القارئ لدينا إمكانيات النماذج اللغوية الكبيرة في صياغة انطباعات تقرير الأشعة التي يمكن أن تساعد في تبسيط عمليات العمل لأطباء الأشعة.