MedFLIP: Medizinische Selbstüberwachungs-Schnellvortrainierung mit Maskiertem Autoencoder

Im Bereich der medizinischen Analyse wurde umfangreiche Forschung zum Potenzial des gegenseitigen Lernens zwischen Maskierten Autoencodern (MAEs) und multimodalen Daten betrieben. Der Einfluss von MAEs auf die Intermodalität bleibt jedoch eine zentrale Herausforderung. Wir stellen MedFLIP vor, eine schnelle Vortrainierungsmethode für Sprache und Bild zur medizinischen Analyse. Wir untersuchen MAEs für Zero-Shot-Lernen in gekreuzten Domänen, was die Modellfähigkeit verbessert, aus begrenzten Daten zu lernen, ein häufiges Szenario in der medizinischen Diagnostik. Wir verifizieren, dass das Maskieren eines Bildes das intermodale Lernen nicht beeinflusst. Darüber hinaus schlagen wir den SVD-Verlust vor, um das Repräsentationslernen für Eigenschaften medizinischer Bilder zu verbessern, mit dem Ziel, die Klassifikationsgenauigkeit durch die Ausnutzung der strukturellen Feinheiten solcher Daten zu steigern. Schließlich validieren wir, dass die Verwendung von Sprache die Zero-Shot-Leistung bei der medizinischen Bildanalyse verbessern wird. Die Skalierung des Maskierungsprozesses in MedFLIP stellt einen Fortschritt auf diesem Gebiet dar und bietet einen Weg zu schnellerer und präziserer medizinischer Bildanalyse ohne die traditionellen Rechenengpässe. Durch Experimente und Validierung zeigt MedFLIP effiziente Leistungsverbesserungen und setzt einen erkundeten Standard für zukünftige Forschung und Anwendungen in der medizinischen Diagnostik.