Können die Abstimmungsmethoden von LLMs im medizinischen multimodalen Bereich funktionieren?

Während große Sprachmodelle (LLMs) in der Weltkenntnis hervorragende Leistungen erbringen, erfordert die Anpassung an spezifische Teilbereiche präzise Anpassungen. Aufgrund des enormen Maßes des Modells können traditionelle globale Feinabstimmungsmethoden für große Modelle rechnerisch teuer sein und die Generalisierung beeinträchtigen. Um diese Herausforderung zu bewältigen, sind eine Reihe innovativer parametersparender Feinabstimmungsmethoden (PEFT) entstanden, die bemerkenswerte Erfolge sowohl bei LLMs als auch bei großen Vision-Language-Modellen (LVLMs) erzielt haben. Im medizinischen Bereich ist es entscheidend, ein medizinisches Vision-Language Pretrained (VLP) Modell feinabzustimmen, um es auf spezifische Aufgaben anzupassen. Können die Feinabstimmungsmethoden für große Modelle an das medizinische Feld übertragen werden, um die Effizienz des Transferlernens zu erhöhen? In diesem Papier tauchen wir in die Feinabstimmungsmethoden von LLMs ein und führen umfangreiche Experimente durch, um die Auswirkungen der Feinabstimmungsmethoden für große Modelle auf bestehende multimodale Modelle im medizinischen Bereich sowohl auf der Ebene der Trainingsdaten als auch auf der Ebene der Modellstruktur zu untersuchen. Wir zeigen die unterschiedlichen Auswirkungen der Feinabstimmungsmethoden für große Modelle auf medizinische VLMs und entwickeln die effizientesten Methoden zur Feinabstimmung medizinischer VLP-Modelle. Wir hoffen, dass diese Forschung medizinische Forscher dabei unterstützen kann, die Trainingskosten von VLMs zu optimieren und die breitere Anwendung von VLMs im Gesundheitswesen zu fördern. Der Code und der Datensatz werden nach der Annahme veröffentlicht.