Generación Automática de Informes Diagnósticos de Imágenes Médicas con Red Neuronal Recurrente Jerárquica

Las imágenes médicas se utilizan ampliamente en el ámbito médico para el diagnóstico y tratamiento de enfermedades. Leer una imagen médica y resumir sus conclusiones es una tarea rutinaria, aunque laboriosa, que a menudo representa un cuello de botella en el proceso de diagnóstico clínico. La generación automática de informes puede aliviar estos problemas. Sin embargo, la generación de informes médicos presenta dos desafíos principales: (i) es difícil detectar con precisión todas las anomalías simultáneamente, especialmente las enfermedades raras; (ii) un informe de imagen médica consta de muchos párrafos y oraciones, que son más largos que los títulos de imágenes naturales. Presentamos un nuevo marco para detectar con precisión las anomalías y generar informes médicos automáticamente. El modelo de generación de informes se basa en una red neuronal recurrente jerárquica (HRNN). Introducimos un mecanismo de emparejamiento de temas en HRNN, con el fin de hacer que los informes generados sean más precisos y diversos. También se introduce un mecanismo de atención suave en el modelo HRNN. Los resultados experimentales en dos conjuntos de datos de pares de imagen-párrafo muestran que nuestro marco supera a todos los métodos de última generación.