Aprendizaje Audiovisual Profundo: Una Encuesta

Resumen El aprendizaje audiovisual, orientado a aprovechar la relación entre las modalidades de audio y visual, ha atraído considerable atención desde que el aprendizaje profundo comenzó a utilizarse con éxito. Los investigadores tienden a aprovechar estas dos modalidades para mejorar el rendimiento de tareas de modalidad única consideradas previamente o abordar nuevos problemas desafiantes. En este documento, proporcionamos una encuesta integral sobre el desarrollo reciente del aprendizaje audiovisual. Dividimos las tareas actuales de aprendizaje audiovisual en cuatro subcampos diferentes: separación y localización audiovisual, aprendizaje de correspondencia audiovisual, generación audiovisual y aprendizaje de representación audiovisual. Se discuten además los métodos más avanzados, así como los desafíos restantes de cada subcampo. Finalmente, resumimos los conjuntos de datos y desafíos comúnmente utilizados.