Rede neural convolucional gráfica relacional em múltiplas escalas para aprendizado de múltiplas instâncias em imagens de histopatologia

As redes neurais convolucionais gráficas mostraram um potencial significativo em imagens naturais e de histopatologia. No entanto, seu uso foi estudado apenas em uma única ampliação ou em múltiplas ampliações com gráficos homogêneos ou apenas diferentes tipos de nós. Para aproveitar a informação de múltiplas ampliações e melhorar a passagem de mensagens com redes convolucionais gráficas, lidamos com diferentes espaços de incorporação em cada ampliação ao introduzir a Rede Neural Convolucional Gráfica Relacional em Múltiplas Escalas (MS-RGCN) como um método de aprendizado de múltiplas instâncias. Modelamos os fragmentos de imagens de histopatologia e sua relação com fragmentos vizinhos e fragmentos em outras escalas (ou seja, ampliações) como um gráfico. Definimos redes neurais de passagem de mensagem separadas com base em tipos de nós e arestas para transmitir a informação entre diferentes espaços de incorporação de ampliação. Experimentamos com imagens de histopatologia de câncer de próstata para prever os grupos de grau com base nas características extraídas dos fragmentos. Também comparamos nosso MS-RGCN com vários métodos de ponta, com avaliações em vários conjuntos de dados de origem e conjuntos retidos. Nosso método supera os métodos de ponta em todos os conjuntos de dados e tipos de imagem consistindo em microarrays de tecido, regiões de lâminas inteiras e imagens de lâminas inteiras. Através de um estudo de ablação, testamos e mostramos o valor das características de design pertinentes do MS-RGCN.