Evaluierung großer Sprachmodelle als Akteure in der Klinik

Jüngste Entwicklungen in großen Sprachmodellen (LLMs) haben Chancen im Gesundheitswesen eröffnet, von der Informationssynthese bis hin zur klinischen Entscheidungsunterstützung. Diese LLMs sind nicht nur fähig, Sprache zu modellieren, sondern können auch als intelligente "Akteure" agieren, die mit Interessengruppen in offenen Gesprächen interagieren und sogar Entscheidungsprozesse in der Klinik beeinflussen. Anstatt sich auf Benchmarks zu verlassen, die die Fähigkeit eines Modells messen, klinische Daten zu verarbeiten oder standardisierte Testfragen zu beantworten, können LLM-Akteure in hochgenauen Simulationen klinischer Umgebungen modelliert werden und sollten auf ihren Einfluss auf klinische Arbeitsabläufe bewertet werden. Diese Bewertungsrahmen, die wir als "Künstliche Intelligenz Strukturierte Klinische Prüfungen" ("AI-SCE") bezeichnen, können auf vergleichbare Technologien zurückgreifen, bei denen Maschinen in dynamischen Umgebungen mit mehreren Interessengruppen in unterschiedlichem Maße autonom agieren, wie zum Beispiel bei selbstfahrenden Autos. Die Entwicklung dieser robusten, realen klinischen Bewertungen wird entscheidend sein für den Einsatz von LLM-Akteuren in medizinischen Einrichtungen.