Untersuchung der Generalisierbarkeit von vortrainierten De-Identifizierungs-Transformer-Modellen auf narrativen Pflegeberichten

Zusammenfassung Hintergrund Narrative Pflegeberichte sind eine wertvolle Ressource in der Informatikforschung mit einzigartigen prädiktiven Signalen über die Patientenversorgung. Das offene Teilen dieser Daten wird jedoch durch strenge Vorschriften des Health Insurance Portability and Accountability Act (HIPAA) zum Schutz der Privatsphäre angemessen eingeschränkt. Mehrere Modelle wurden entwickelt und auf dem Open-Source i2b2-Datensatz bewertet. Der Fokus auf die Generalisierbarkeit dieser Modelle in Bezug auf Pflegeberichte bleibt unterforscht. Ziele Die Studie zielt darauf ab, die Generalisierbarkeit von vortrainierten Transformer-Modellen zu verstehen und die Variabilität der Verteilungsmuster persönlicher geschützter Gesundheitsinformationen (PHI) zwischen Entlassungsberichten und Pflegeberichten zu untersuchen, um die zukünftige Gestaltung von Modellevaluationsschema zu informieren. Methoden Zwei vortrainierte Transformer-Modelle (RoBERTa, ClinicalBERT), die auf i2b2 2014 Entlassungsberichten feinabgestimmt wurden, wurden an unseren Daten von stationären Pflegeberichten bewertet und mit der Basislinie verglichen. Statistische Tests wurden eingesetzt, um Unterschiede in der PHI-Verteilung zwischen Entlassungsberichten und Pflegeberichten zu bewerten. Ergebnisse RoBERTa erreichte die optimale Leistung, als es an einer externen Datenquelle getestet wurde, mit einem F1-Score von 0,887 über PHI-Kategorien und 0,932 in der PHI-binär Aufgabe. Insgesamt enthalten Entlassungsberichte eine höhere Anzahl von PHI-Instanzen und PHI-Kategorien im Vergleich zu stationären Pflegeberichten. Fazit Die Studie untersuchte die Anwendbarkeit von zwei vortrainierten Transformern auf stationäre Pflegeberichte und untersuchte die Unterschiede zwischen Pflegeberichten und Entlassungsberichten hinsichtlich der Nutzung persönlicher PHI. Entlassungsberichte wiesen eine größere Menge an PHI-Instanzen und -Typen auf im Vergleich zu narrativen Pflegeberichten, während narrative Pflegeberichte eine größere Vielfalt in den Arten von vorhandener PHI aufwiesen, wobei einige auch das persönliche Leben des Patienten betrafen. Die Erkenntnisse aus der Forschung helfen, das Design und die Auswahl von Algorithmen zu verbessern und tragen zur Entwicklung geeigneter Leistungsgrenzen für PHI bei.