Integração de dados multimodal para oncologia na era das redes neurais profundas: uma revisão

A pesquisa sobre câncer abrange dados em várias escalas, modalidades e resoluções, desde triagens e imagens diagnósticas até lâminas de histopatologia digitalizadas e vários tipos de dados moleculares e registros clínicos. A integração desses diferentes tipos de dados para o cuidado personalizado do câncer e modelagem preditiva promete aumentar a precisão e confiabilidade da triagem, diagnóstico e tratamento do câncer. Métodos analíticos tradicionais, que muitas vezes se concentram em informações isoladas ou unimodais, não conseguem captar a natureza complexa e heterogênea dos dados do câncer. O advento das redes neurais profundas impulsionou o desenvolvimento de técnicas sofisticadas de fusão de dados multimodais capazes de extrair e sintetizar informações de fontes díspares. Dentre essas, Redes Neurais Gráficas (GNNs) e Transformers emergiram como ferramentas poderosas para aprendizado multimodal, demonstrando sucesso significativo. Esta revisão apresenta os princípios fundamentais do aprendizado multimodal, incluindo modalidades de dados oncológicos, taxonomia de aprendizado multimodal e estratégias de fusão. Analisamos os recentes avanços em GNNs e Transformers para a fusão de dados multimodais em oncologia, destacando estudos-chave e suas descobertas cruciais. Discutimos os desafios únicos do aprendizado multimodal, como a heterogeneidade dos dados e as complexidades da integração, juntamente com as oportunidades que ele apresenta para uma compreensão mais sutil e abrangente do câncer. Por fim, apresentamos algumas das mais recentes fontes abrangentes de dados pan-câncer multimodal. Ao explorar o panorama da integração de dados multimodais em oncologia, nosso objetivo é sublinhar o potencial transformador das GNNs e Transformers multimodais. Através dos avanços tecnológicos e das inovações metodológicas apresentadas nesta revisão, pretendemos traçar um caminho para pesquisas futuras neste campo promissor. Esta revisão pode ser a primeira a destacar o estado atual das aplicações de modelagem multimodal em câncer usando GNNs e transformers, apresentar fontes abrangentes de dados oncológicos multimodais e preparar o terreno para a evolução multimodal, incentivando uma exploração e desenvolvimento adicionais no cuidado personalizado do câncer.