شهدت نماذج اللغة الكبيرة (LLMs) اعتمادًا كبيرًا عبر العديد من المجالات منذ عام 2020، لكن ميلها للهلوسة يخلق مخاطر غير مقبولة في بيئات عالية المخاطر مثل الرعاية الصحية، حيث يمكن أن تعرض المخرجات الخاطئة سلامة الإنسان للخطر مباشرة. بينما تركز الأنظمة الحالية على استراتيجيات التخفيف قبل التوليد، إلا أنها لا يمكن أن تضمن سلامة المخرجات الفردية أثناء الاستدلال. نقدم منهجية تقييم خطر الهلوسة (HRS) بعد الحدوث التي تعترض المخرجات المشكوك فيها قبل وصولها إلى المرضى عبر خط أنابيب سلوكي. بالنظر إلى سؤال طبي، تقوم نموذج لغة كبير متخصص في المجال بتوليد استجابة أولية يتم من خلالها حساب خمسة إشارات عدم يقين مكملة، والتي يتم فصلها بعد ذلك إلى طبقة قرار تحكم التصعيد وطبقة إرشاد توجه حقن المعرفة السريرية بواسطة GPT. تم اختبار الإطار باستخدام ثلاثة مجموعات بيانات للإجابة على الأسئلة البيولوجية بمستويات مختلفة من التعقيد: PubMedQA-Labeled، PubMedQA-Artificial، وBioASQ Task B. تظهر النتائج زيادة بنسبة تصل إلى 38% في السلامة عند تكوين العتبات الأكثر حساسية، وعدم تدهور عبر جميع التكوينات التجريبية التي تفرضها طريقة Revert Baseline، ومعدلات تصعيد واعية بالتعقيد تتوسع بشكل عضوي مع صعوبة المجموعة البيانية. تسمح العتبات القابلة للتعديل للأطباء بمعايرة سلوك النظام بناءً على متطلبات النشر، مما يوفر توازنًا عمليًا بين السلامة والدقة. تجد الأبحاث الإحصائية أن الانتروبيا هي الإشارة الأساسية لعدم اليقين التي تفصل بين الحالات المصعدة وغير المصعدة عبر جميع المجموعات البيانية. توفر هذه النتائج نموذج أمان قابل للتطبيق، وقابل للتفسير، وقابل للتكوين بعد الحدوث من أجل تنفيذ موثوق للذكاء الاصطناعي الطبي.
درس كاباديا وآخرون (الجمعة) هذا السؤال.