Key points are not available for this paper at this time.
Multimodales Sprachmodellieren hat Durchbrüche im Bereich des Repräsentationslernens ermöglicht, bleibt jedoch im Bereich funktioneller Gehirndaten für klinische Phänotypisierung unerforscht. Dieses Papier ist wegweisend in der Entwicklung von EEG-Sprachmodellen (ELMs), die auf klinischen Berichten und 15000 EEGs trainiert wurden. Wir schlagen vor, multimodale Ausrichtung in diesem neuartigen Bereich mit Zeitreihen-Cropping und Textsegmentierung zu kombinieren, um eine Erweiterung basierend auf dem Lernen mit mehreren Instanzen zu ermöglichen, um die Fehlanpassungen zwischen irrelevanten EEG- oder Textsegmenten zu verringern. Unsere multimodalen Modelle verbessern sich signifikant im Vergleich zu EEG-Only-Modellen in vier klinischen Bewertungen und ermöglichen erstmals Zero-Shot-Klassifikation sowie das Abrufen sowohl neuraler Signale als auch Berichte. Zusammenfassend heben diese Ergebnisse das Potenzial von ELMs hervor, was einen bedeutenden Fortschritt für klinische Anwendungen darstellt.
Gijsen et al. (Mon,) haben diese Frage untersucht.