Una revisión de técnicas de fusión de información basadas en aprendizaje profundo para la clasificación de imágenes médicas multimodales

La imagenología médica multimodal desempeña un papel fundamental en el diagnóstico clínico y la investigación, ya que combina información de diversas modalidades de imagen para proporcionar una comprensión más completa de la patología subyacente. Recientemente, las técnicas de fusión multimodal basadas en aprendizaje profundo han surgido como herramientas poderosas para mejorar la clasificación de imágenes médicas. Esta revisión ofrece un análisis exhaustivo de los desarrollos en la fusión multimodal basada en aprendizaje profundo para tareas de clasificación médica. Exploramos las relaciones complementarias entre las modalidades clínicas prevalentes y delineamos tres esquemas de fusión principales para redes de clasificación multimodal: fusión de entrada, fusión intermedia (que abarca la fusión de un solo nivel, la fusión jerárquica y la fusión basada en atención), y fusión de salida. Al evaluar el rendimiento de estas técnicas de fusión, proporcionamos información sobre la idoneidad de diferentes arquitecturas de red para diversos escenarios de fusión multimodal y dominios de aplicación. Además, profundizamos en los desafíos relacionados con la selección de la arquitectura de la red, el manejo de datos multimodales incompletos y las posibles limitaciones de la fusión multimodal. Finalmente, destacamos el futuro prometedor de las técnicas de fusión multimodal basadas en Transformer y damos recomendaciones para futuras investigaciones en este campo de rápida evolución.