Rede de fusão mais rica para classificação de câncer de mama baseada em dados multimodais

BACKGOUND: Algoritmos de deep learning melhoram significativamente a precisão da classificação de imagens patológicas, mas a precisão da classificação de câncer de mama utilizando apenas imagens patológicas de modo único ainda não atende às necessidades da prática clínica. Inspirados pelo cenário real de patologistas lendo imagens patológicas para diagnóstico, integramos imagens patológicas e dados estruturados extraídos de prontuários eletrônicos em saúde (EMR) para aprimorar ainda mais a precisão da classificação do câncer de mama. MÉTODOS: Neste artigo, propomos uma nova rede de fusão mais rica para a classificação de câncer de mama benigno e maligno com base em dados multimodais. Para que a imagem patológica possa ser integrada de maneira mais eficiente com os dados estruturados do EMR, propomos um método para extrair uma representação de características multilevel mais rica da imagem patológica a partir de várias camadas convolucionais. Ao mesmo tempo, para minimizar a perda de informação para cada modalidade antes da fusão de dados, utilizamos o autoencoder de denoising como uma forma de aumentar os dados estruturados de EMR de baixa dimensão para alta dimensão, em vez de reduzir os dados da imagem de alta dimensão para baixa dimensão antes da fusão de dados. Além disso, o autoencoder de denoising generaliza naturalmente nosso método para fazer a previsão precisa com dados estruturados de EMR parcialmente faltando. RESULTADOS: Os resultados experimentais mostram que o método proposto é superior ao método mais avançado em termos de precisão média de classificação (92,9%). Além disso, liberamos um conjunto de dados contendo dados estruturados de 185 pacientes extraídos do EMR e 3764 imagens patológicas pareadas de câncer de mama, que podem ser baixadas publicamente de http: //ear. ict. ac. cn/? pageᵢd=1663. CONCLUSÕES: Utilizamos uma nova rede de fusão mais rica para integrar dados altamente heterogêneos, aproveitando os dados estruturados do EMR para melhorar a precisão da classificação de imagens patológicas. Portanto, a aplicação de algoritmos automáticos de classificação de câncer de mama na prática clínica torna-se possível. Devido à generalidade do método de fusão proposto, ele pode ser facilmente expandido para a fusão de outros dados estruturados e não estruturados.