Bewertung von Datenschutzverletzungen in von LLM gesteuerten ambienten klinischen Dokumentationen

Einleitung: Automatisierte Dokumentationstools werden schnell im Gesundheitswesen und in klinischen Arbeitsabläufen angenommen. Dazu gehören KI-gestützte ambientale Transkriptionsprodukte, die Gespräche zwischen Patienten und Gesundheitsdienstleistern transkribieren und dann klinische Aufzeichnungen mit automatischer Spracherkennung (ASR) und generativer KI wie großen Sprachmodellen (LLMs) erstellen. Während Forschungen nahelegen, dass diese Technologien die klinische Belastung verringern können, erfordert eine sichere und verantwortungsvolle Implementierung, dass diese Werkzeuge bestimmen, welche erfassten Informationen angemessen sind, um aufgezeichnet zu werden, und unter welchen Umständen. Dies stellt eine kontextuelle Datenschutzherausforderung dar, die sich von PII-Leckagen oder Datenspeicherung unterscheidet und weitgehend ungetestet bleibt. Methoden: Wir adressieren diese Lücke, indem wir Datenschutzverletzungen als die unangemessene Einbeziehung von personenbezogenen Informationen Dritter in von LLM generierten klinischen Notizen operationalisieren. Wir erstellen einen Benchmark von Transkripten, die private Informationen enthalten, mit goldstandard klinischen Notizen, indem wir Patientenmetadaten aus dem aci-bench-Korpus anreichern und personenbezogene Informationen Dritter über sechs Beziehungstypen und sieben Informationsthemen injizieren. Wir bewerten die offenen Modelle LLaMA 3.1 8 und 70 B, Mixtral 8×7B und 8×22B sowie proprietäre Modelle Claude 3.5 Haiku und Sonnet zur Notizgenerierung unter Verwendung von Aufforderungen mit unterschiedlichen Datenschutz- und strukturellen Anforderungen. Ergebnisse: Alle untersuchten Modelle lichen Informationen Dritter, und Datenschutzanweisungen halfen, die Leckagen zu reduzieren, bewiesen aber weder eine vollständige noch robuste Lösung. Modelle konnten datenschutzverletzende Notizen generieren, obwohl sie solche Informationen korrekt als unangemessen identifizierten, um sie zu teilen. Die Zerlegung der Generierung und der Datenschutzbearbeitung in separate Schritte könnte die Leckage weiter reduzieren, jedoch nur, wenn Datenschutz mit kontextueller Spezifität definiert wurde. Diskussion: Keine einzelne Minderung beseitigte die Leckage vollständig, aber die Kombination von Ansätzen führte zu den größten Reduktionen. Die Ergebnisse betonen die Notwendigkeit, Datenschutzsysteme von Grund auf zu entwickeln und Evaluierungsstrategien zu entwickeln, die auf aufkommenden Praktiken zur Informationssynthese und -weitergabe basieren.