Medical-VLBERT: Medizinisches visuelles Sprachmodell BERT zur Generierung von COVID-19-CT-Berichten mit alternierendem Lernen

Medizinische Bildgebungstechnologien, einschließlich Computertomographie (CT) oder Röntgenaufnahme des Brustkorbs (CXR), werden größtenteils eingesetzt, um die Diagnose von COVID-19 zu erleichtern. Da das manuelle Schreiben von Berichten in der Regel zu zeitaufwendig ist, wird dringend ein intelligenteres unterstützendes Medizinsystem benötigt, das medizinische Berichte automatisch und sofort generieren kann. In diesem Artikel schlagen wir vor, das medizinische visuelle Sprachmodell BERT (Medical-VLBERT) zu verwenden, um Anomalien in den COVID-19-Scans zu identifizieren und den medizinischen Bericht automatisch basierend auf den erkannten Läsionsbereichen zu generieren. Um genauere medizinische Berichte zu erstellen und die visuellen und sprachlichen Unterschiede zu minimieren, verwendet dieses Modell eine alternierende Lernstrategie mit zwei Verfahren: Wissenstraining und -übertragung. Genauer gesagt, dient das Wissenstraining dazu, das Wissen aus medizinischen Texten zu memorieren, während das Übertragungsverfahren darauf abzielt, das erworbene Wissen zur Generierung professioneller medizinischer Sätze durch Beobachtungen medizinischer Bilder zu nutzen. In der Praxis haben wir zur automatischen Generierung medizinischer Berichte über COVID-19-Fälle einen Datensatz mit 368 medizinischen Befunden in Chinesisch und 1104 Brust-CT-Scans aus dem Ersten Affiliated Hospital der Jinan University, Guangzhou, China, und dem Fünften Affiliated Hospital der Sun Yat-sen University, Zhuhai, China, erstellt. Darüber hinaus wurde unser Modell zunächst auf dem großangelegten Chinesischen CX-CHR-Datensatz trainiert und dann auf den COVID-19-CT-Datensatz übertragen, um eine weitere Feinabstimmung vorzunehmen. Die experimentellen Ergebnisse zeigten, dass Medical-VLBERT auf der Chinesischen COVID-19-CT-Datensatz und dem CX-CHR-Datensatz erstklassige Leistungen bei der Terminologievorhersage und der Berichterstellung erreichte. Der Chinesische COVID-19-CT-Datensatz ist verfügbar unter https://covid19ct.github.io/.