Un algoritmo de decodificación iterativa para la fusión de información multimodal

El análisis de la actividad humana en un espacio inteligente se basa típicamente en señales informativas multimodales. El uso de múltiples modalidades nos brinda muchas ventajas. Pero la fusión de información de diferentes fuentes es un problema que debe ser abordado. En este artículo, proponemos un algoritmo iterativo para fusionar información de fuentes multimodales. Nos inspiramos en la teoría de códigos turbo. Hacemos una analogía entre los bits de paridad redundantes de los códigos constitutivos de un código turbo y la información de diferentes sensores en un sistema multimodal. Se utiliza un modelo oculto de Markov para modelar la secuencia de observaciones de modalidades individuales. Las probabilidades de estado decodificadas de una modalidad se utilizan como información adicional en la decodificación de los estados de las otras modalidades. Este procedimiento se repite hasta que se cumple un cierto criterio de convergencia. El algoritmo iterativo resultante muestra tasas de error más bajas que los modelos individuales por sí solos. Luego, el algoritmo se aplica a un problema del mundo real de segmentación del habla utilizando señales auditivas y visuales.