MedSAM2: Segmentar Qualquer Coisa em Imagens e Vídeos Médicos em 3D

A segmentação de imagens e vídeos médicos é uma tarefa crítica para a medicina de precisão, que testemunhou considerável progresso no desenvolvimento de modelos específicos para tarefas ou modalidades e modelos generalistas para imagens 2D. No entanto, houve estudos limitados sobre a construção de modelos de uso geral para imagens e vídeos 3D com estudos abrangentes de usuários. Aqui, apresentamos o MedSAM2, um modelo de fundação de segmentação acionável para segmentação de imagens e vídeos 3D. O modelo foi desenvolvido ajustando o Segment Anything Model 2 em um grande conjunto de dados médicos com mais de 455.000 pares de imagem-máscara 3D e 76.000 quadros, superando modelos anteriores em uma ampla gama de órgãos, lesões e modalidades de imagem. Além disso, implementamos um pipeline com interação humana para facilitar a criação de conjuntos de dados em larga escala resultando, ao melhor de nosso conhecimento, no estudo de usuários mais extenso até o momento, envolvendo a anotação de 5.000 lesões de TC, 3.984 lesões de RM do fígado e 251.550 quadros de vídeo de ecocardiograma, demonstrando que o MedSAM2 pode reduzir os custos manuais em mais de 85%. O MedSAM2 também está integrado em plataformas amplamente utilizadas com interfaces amigáveis para implantação local e na nuvem, tornando-se uma ferramenta prática para apoiar a segmentação eficiente, escalável e de alta qualidade em ambientes de pesquisa e saúde.