생의학에서 고해상도 비전-언어 모델의 발전

다중 모달 학습은 생성 AI, 특히 비전-언어 모델링에서 크게 발전했습니다. GPT-4V와 LLaVA와 같은 오픈 소스 프로젝트 같은 혁신은 제로 샷 과제 완료가 가능한 강력한 대화형 에이전트를 가능하게 했습니다. 그러나 이러한 기술을 생의학 분야에 적용하는 데는 독특한 도전이 있습니다. LLaVA-Med와 같은 최근의 이니셔티브는 PMC-15M과 같은 대규모 데이터 세트를 사용해 생의학적 맥락에 맞춘 지시 조정을 시작했습니다. 우리의 연구는 세 가지 주요 기여를 제공합니다: (i) Claude3-Opus와 LLaMA3 70B의 의료 이미지-텍스트 쌍으로 보강된 새로운 지시 데이터 세트를 제공합니다, (ii) 세밀한 생의학적 시각적 이해를 개선하기 위한 계층적 표현을 사용하는 새로운 이미지 인코딩 전략을 제안하며, (iii) 생의학적 시각 질문 답변 벤치마크에서 제로 샷 성능이 최첨단에 도달하는 Llama3-Med 모델을 개발하였으며, 이전 방법에 비해 평균 10% 이상의 성능 향상을 이루었습니다. 이러한 발전은 의료 전문가를 위한 보다 정확하고 신뢰할 수 있는 도구를 제공하여 현재의 다중 모달 대화형 보조 도구에서의 불일치를 해소하고 의료 AI에서의 추가 혁신을 촉진합니다.