Um modelo fundamentado utilizando volumes de TC de tórax e relatórios de radiologia para detecção de anomalias em nível supervisionado zero-shot

Um grande desafio na pesquisa computacional em imagem médica 3D é a falta de conjuntos de dados abrangentes. Para abordar essa questão, nosso estudo introduz o CT-RATE, o primeiro conjunto de dados de imagem médica 3D que emparelha imagens com relatórios textuais. O CT-RATE consiste em 25.692 volumes de TC de tórax sem contraste, ampliados para 50.188 através de várias reconstruções, de 21.304 pacientes únicos, juntamente com relatórios textuais de radiologia correspondentes. Aproveitando o CT-RATE, desenvolvemos o CT-CLIP, uma estrutura de pré-treinamento contrastivo de linguagem-imagem focada em TC. Como um modelo versátil e auto-supervisionado, o CT-CLIP foi projetado para aplicação ampla e não requer treinamento específico para tarefas. Notavelmente, o CT-CLIP supera os métodos totalmente supervisionados de última geração na detecção de múltiplas anomalias em todas as métricas-chave, eliminando assim a necessidade de anotação manual. Também demonstramos sua utilidade na recuperação de casos, seja usando imagens ou consultas textuais, avançando assim na disseminação do conhecimento. O lançamento de código aberto do CT-RATE e do CT-CLIP marca um avanço significativo na IA médica, melhorando a análise de imagem 3D e promovendo a inovação na saúde.