Ermöglichung arztzentrierter medizinischer KI mit LLMs durch workflow-orientierte Aufgaben und Benchmarks

Zusammenfassung Der Aufstieg großer Sprachmodelle (LLMs) hat das Gesundheitswesen durch die Bereitstellung klinischer Anleitungen revolutioniert, doch ihre direkte Anwendung bei Patienten birgt Sicherheitsrisiken aufgrund begrenzter Fachkompetenz. Zur Minderung dieser Risiken schlagen wir vor, LLMs als klinische Assistenten neu zu positionieren, die mit erfahrenen Ärzten zusammenarbeiten, anstatt direkt mit Patienten zu interagieren. Wir führten eine zweistufige Inspirations- und Feedbackbefragung durch, um reale Bedürfnisse in klinischen Arbeitsabläufen zu identifizieren. Daran angelehnt konstruierten wir DoctorFLAN, einen groß angelegten chinesischen medizinischen Datensatz mit 92.000 Frage-Antwort-Beispielen aus 22 klinischen Aufgabenbereichen und 27 Fachgebieten. Zur Bewertung der Modellleistung in arztorientierten Anwendungen führten wir DoctorFLAN-test (550 einfache Frage-Antwort-Einheiten) und DotaBench (74 mehrstufige Gespräche) ein. Experimentelle Ergebnisse mit über zehn populären LLMs zeigen, dass DoctorFLAN die Leistung quelloffener LLMs in medizinischen Kontexten signifikant verbessert, ihre Ausrichtung an ärztlichen Arbeitsabläufen erleichtert und bestehende patientenorientierte Modelle ergänzt. Diese Arbeit stellt eine wertvolle Ressource und ein Rahmenwerk für die Weiterentwicklung arztzentrierter medizinischer LLMs bereit.