Fortschritte bei hochauflösenden Vision-Language-Modellen in der Biomedizin

Das multimodale Lernen hat generative KI erheblich vorangebracht, insbesondere im Bereich der Vision-Language-Modellierung. Innovationen wie GPT-4V und Open-Source-Projekte wie LLaVA haben robuste Konversationsagenten ermöglicht, die in der Lage sind, Aufgaben im Zero-Shot-Verfahren zu erledigen. Die Anwendung dieser Technologien im biomedizinischen Bereich bringt jedoch einzigartige Herausforderungen mit sich. Jüngste Initiativen wie LLaVA-Med haben begonnen, das Instruction-Tuning für biomedizinische Kontexte unter Verwendung großer Datensätze wie PMC-15M anzupassen. Unsere Forschung bietet drei wesentliche Beiträge: (i) wir präsentieren einen neuen instruct Datensatz, der mit medizinischen Bild-Text-Paaren aus Claude3-Opus und LLaMA3 70B angereichert ist, (ii) wir schlagen eine neuartige Bildcodierungsstrategie vor, die hierarchische Darstellungen verwendet, um das feinkörnige biomedizinische visuelle Verständnis zu verbessern, und (iii) wir entwickeln das Llama3-Med-Modell, das in der Lage ist, eine erstklassige Zero-Shot-Leistung bei biomedizinischen Bild-Frage-Antwort-Benchmarks zu erreichen, mit einer durchschnittlichen Leistungssteigerung von über 10 % im Vergleich zu früheren Methoden. Diese Fortschritte bieten genauere und zuverlässigere Werkzeuge für medizinische Fachkräfte, überbrücken Lücken in den aktuellen multimodalen Konversationsassistenten und fördern weitere Innovationen in der medizinischen KI.