تقييم تجريبي لاستراتيجيات التوجيه لنماذج اللغة الكبيرة في المعالجة الطبيعية للغة السريرية بدون تدريب مسبق: دراسة تطوير وتحليل خوارزمي

الخلفية أظهرت نماذج اللغة الكبيرة (LLMs) قدرات ملحوظة في المعالجة الطبيعية للغة (NLP)، خصوصًا في المجالات التي تكون فيها البيانات المصنفة نادرة أو مكلفة، مثل المجال السريري. ومع ذلك، لفتح المعرفة السريرية المخفية في هذه النماذج، نحتاج إلى تصميم توجيهات فعالة توجهها لأداء مهام معالجة اللغة الطبيعية السريرية المحددة دون الحاجة إلى بيانات تدريب خاصة بالمهمة. يُعرف هذا بالتعلم ضمن السياق، وهو فن وعلم يتطلب فهم نقاط القوة والضعف لنماذج اللغة المختلفة وأساليب هندسة التوجيه. الهدف تهدف هذه الدراسة إلى تقييم فعالية تقنيات هندسة التوجيه المختلفة، بما في ذلك نوعان جديدان تم تقديمهما — التوجيهات الاستدلالية والتوجيهات التجميعية، لاستخلاص المعلومات السريرية في سيناريوهات بدون تدريب مسبق وقليل التدريب باستخدام نماذج اللغات المدربة مسبقًا. الطرق قامت هذه الدراسة التجريبية الشاملة بتقييم أنواع مختلفة من التوجيهات (بادئة بسيطة، فراغ بسيط، سلسلة تفكير، توجيه استباقي، استدلالي وتجميعي) عبر 5 مهام معالجة اللغة السريرية: تمييز المعنى السريري، استخراج الأدلة الطبية الحيوية، حل الإحالات الضمنية، استخراج حالة الدواء، واستخراج سمات الدواء. تم تقييم أداء هذه التوجيهات باستخدام 3 نماذج لغوية متطورة: GPT-3.5 (OpenAI)، Gemini (Google)، وLLaMA-2 (Meta). قورنت التوجيهات بدون تدريب مسبق مع التوجيهات بقليل من الأمثلة، كما استُكشفت فعالية الأساليب التجميعية. النتائج أظهرت الدراسة أن تعديل التوجيه الخاص بالمهمة أمر حيوي لأداء عالي لنماذج اللغة الكبيرة في المعالجة الطبيعية للغة السريرية بدون تدريب مسبق. في تمييز المعنى السريري، حقق GPT-3.5 دقة 0.96 مع التوجيهات الاستدلالية و0.94 في استخراج الأدلة الطبية الحيوية. كانت التوجيهات الاستدلالية، إلى جانب التوجيهات من نوع سلسلة التفكير، فعالة جدًا عبر المهام. حسّن التوجيه بقليل من الأمثلة الأداء في السيناريوهات المعقدة، كما استفادت الأساليب التجميعية من قوة التوجيهات المتعددة. تفوق GPT-3.5 باستمرار على Gemini وLLaMA-2 عبر المهام وأنواع التوجيهات. الاستنتاجات تقدم هذه الدراسة تقييمًا دقيقًا لمنهجيات هندسة التوجيه وتقدم تقنيات مبتكرة لاستخلاص المعلومات السريرية، مُظهرةً إمكانيات التعلم ضمن السياق في المجال السريري. تقدم النتائج إرشادات واضحة لأبحاث المعالجة الطبيعية للغة السريرية المستقبلية المعتمدة على التوجيه، مما يسهل مشاركة غير خبراء المعالجة الطبيعية للغة في التقدمات السريرية في هذا المجال. ووفقًا لأفضل معرفتنا، فإن هذه من أولى الدراسات في التقييم التجريبي لأساليب هندسة التوجيه المختلفة للمعالجة الطبيعية للغة السريرية في عصر الذكاء الاصطناعي التوليدي، ونأمل أن تلهم وتثري البحوث المستقبلية في هذا المجال.