Una Encuesta sobre Aprendizaje Multimodal: Métodos, Aplicaciones y Futuro

La interacción multimodal de los cinco sentidos fundamentales—Vista, Audición, Olfato, Gusto y Tacto—proporciona a los humanos una percepción ambiental y habilidades de aprendizaje superiores. Adaptado del sistema perceptual humano, el aprendizaje automático multimodal intenta incorporar diferentes formas de entrada, como imagen, audio y texto, y determinar sus conexiones fundamentales a través de un modelado conjunto. Como una de las formas de desarrollo futuro de la inteligencia artificial, es necesario resumir el progreso del aprendizaje automático multimodal. En este artículo, comenzamos con la forma de una combinación multimodal y proporcionamos una encuesta exhaustiva del tema emergente del aprendizaje automático multimodal, cubriendo enfoques de investigación representativos, los avances más recientes y sus aplicaciones. Específicamente, este artículo analiza la relación entre diferentes modalidades en detalle y clasifica los problemas clave en la investigación multimodal desde los escenarios de aplicación. Además, revisamos exhaustivamente los métodos y conjuntos de datos de vanguardia cubiertos en la investigación del aprendizaje multimodal. Luego, identificamos los desafíos sustanciales y direcciones de desarrollo potencial en este campo. Finalmente, dada la naturaleza integral de esta encuesta, tanto los investigadores específicos de modalidades como los investigadores específicos de tareas pueden beneficiarse de esta encuesta y avanzar en el campo.