VLP Médica Aprimorada com Conhecimento Fundado para Radiografia de Tórax

O pré-treinamento de linguagem-visual médica surgiu como uma abordagem promissora para aprender representações gerais de domínio de imagem e texto médicos. Os algoritmos atuais que exploram o alinhamento global e local entre imagem médica e texto, no entanto, podem ser prejudicados pelas informações redundantes nos dados médicos. Para abordar essa questão, propomos uma estrutura de pré-treinamento de linguagem-visual médica aprimorada com conhecimento fundado (GK-MVLP) para radiografia de tórax. Nesta estrutura, o conhecimento médico é fundamentado nas regiões anatômicas apropriadas, utilizando um módulo de conhecimento aprimorado fundado baseado em transformer para o alinhamento preciso entre características visuais em nível de região anatômica e as características textuais do conhecimento médico. O desempenho do GK-MVLP é competitivo ou excede o estado da arte em classificação de doenças de radiografia de tórax, localização de doenças, geração de relatórios e tarefas de questionamento e resposta visual médica. Nossos resultados mostram a vantagem de incorporar mecanismos de fundamentação para remover vieses e melhorar o alinhamento entre a imagem de radiografia de tórax e o relatório de radiologia.