Mammo-CLIP: Um Modelo de Fundamento de Linguagem Visual para Aumentar a Eficiência e Robustez dos Dados na Mamografia

A falta de dados de treinamento grandes e diversificados sobre Diagnóstico Assistido por Computador (CAD) na detecção de câncer de mama tem sido uma das preocupações que impedem a adoção do sistema. Recentemente, o pré-treinamento com conjuntos de dados de textos e imagens em larga escala por meio de modelos de Linguagem Visual (VLM) (CLIP) aborda parcialmente a questão da robustez e eficiência dos dados em visão computacional (CV). Este artigo propõe o Mammo-CLIP, o primeiro VLM pré-treinado em uma quantidade substancial de pares de relatórios de mamografias de triagem, abordando os desafios da diversidade e do tamanho do conjunto de dados. Nossos experimentos em dois conjuntos de dados públicos demonstram desempenho forte na classificação e localização de vários atributos mamográficos cruciais para a detecção do câncer de mama, mostrando eficiência dos dados e robustez semelhantes ao CLIP em CV. Também propomos o Mammo-FActOR, um novo método de atribuição de características, para fornecer interpretação espacial da representação com granularidade de nível de sentença dentro dos relatórios de mamografia. O código está disponível publicamente: https://github.com/batmanlab/Mammo-CLIP.