Klein oder Groß? Zero-Shot oder Feinabstimmung? Auswahl des Sprachmodells für spezialisierte Anwendungen im Gesundheitswesen leiten

Ziele: Die Auswahl des Sprachmodells (LM) leiten, indem Feinabstimmung vs. Zero-Shot-Nutzung, generisches Pretraining vs. domänenadjazentes vs. weiter domänenspezifisches Pretraining und bidirektionale Sprachmodelle (BiLMs) wie BERT vs. unidirektionale LMs (LLMs) für die klinische Klassifikation verglichen werden. Materialien und Methoden: Wir haben BiLMs (RoBERTa, PathologyBERT, Gatortron) und LLM (Mistral nemo instruct 12B) bei drei Aufgaben zur Klassifikation von Pathologien im British Columbia Cancer Registry (BCCR) mit unterschiedlichem Schwierigkeitsgrad/Datenumfang bewertet. Wir haben Zero-Shot vs. fein abgestimmte BiLMs, Zero-Shot-LLM und weiteres BCCR-spezifisches Pretraining unter Verwendung von Makrodurchschnitt-F1-Werten bewertet. Ergebnisse: Feinabgestimmte BiLMs übertrafen Zero-Shot-BiLMs und Zero-Shot-LLMs. Das Zero-Shot-LLM war besser als die Zero-Shot-BiLMs, wurde aber konsequent von den fein abgestimmten BiLMs übertroffen. Domänenadjazente BiLMs übertrafen im Allgemeinen generische BiLMs nach der Feinabstimmung. Weiteres domänenspezifisches Pretraining verbesserte die Leistung bei komplexen/geringen Datenaufgaben erheblich, mit ansonsten bescheidenen Zuwächsen. Schlussfolgerungen: Für spezialisierte Klassifikationen ist die Feinabstimmung von BiLMs entscheidend und übertrifft oft die Zero-Shot-LLMs. Domänenadjazente vortrainierte Modelle werden empfohlen. Weiteres domänenspezifisches Pretraining bietet signifikante Leistungssteigerungen, insbesondere für komplexe/schlechte Daten-Szenarien. BiLMs bleiben relevant und bieten eine starke Leistung/Ressourcenausgewogenheit für gezielte klinische Aufgaben.