Die grundlegenden Fähigkeiten großer Sprachmodelle zur Vorhersage von postoperativen Risiken anhand klinischer Notizen

Klinische Notizen, die während der perioperativen Reise eines Patienten aufgezeichnet werden, haben einen enormen Informationswert. Fortschritte bei großen Sprachmodellen (LLMs) bieten Möglichkeiten, diese Lücke zu überbrücken. Anhand von 84.875 präoperativen Notizen und den damit verbundenen chirurgischen Fällen von 2018 bis 2021 untersuchen wir die Leistung von LLMs bei der Vorhersage von sechs postoperativen Risiken mithilfe verschiedener Feinabstimmungsstrategien. Vorgefertigte LLMs übertrafen traditionelle Wort-Embeddings um 38,3 % für AUROC und 33,2 % für AUPRC. Die selbstüberwachte Feinabstimmung verbesserte die Leistung um weitere 3,2 % bzw. 1,5 %. Die Einbeziehung von Labels in das Training erhöhte AUROC um 1,8 % und AUPRC um 2 %. Die höchste Leistung wurde mit einem einheitlichen Grundmodell erreicht, mit Verbesserungen von 3,6 % für AUROC und 2,6 % für AUPRC im Vergleich zur Selbstüberwachung, was die grundlegenden Fähigkeiten von LLMs zur Vorhersage postoperativer Risiken hervorhebt, die potenziell vorteilhaft sein könnten, wenn sie in der perioperativen Versorgung eingesetzt werden.