Combinar IMUs esporádicos e uma câmera monocular é uma nova configuração promissora para realizar a captura de movimento humano em tempo real. Este artigo propõe uma solução baseada em difusão para aprender prioritários de movimento humano e fundir as duas modalidades de sinais juntos de forma integrada em uma estrutura unificada. Ao considerar delicadamente as características dos dois sinais, a informação visual sequencial é considerada como um todo e transformada em um embedding de condição, enquanto a medição inercial é concatenada com o quadro de pose corporal ruidoso quadro a quadro para construir uma entrada sequencial para o modelo de difusão. Primeiramente, observamos que a informação visual pode estar indisponível em alguns quadros devido a oclusões ou sujeitos se movendo para fora da visão da câmera. Assim, incorporar as características visuais sequenciais como um todo para obter um único embedding de características é robusto às degenerações ocasionais da informação visual nesses quadros. Por outro lado, as medições do IMU são robustas a oclusões e sempre estáveis quando a transmissão do sinal não apresenta problemas. Portanto, incorporá-las quadro a quadro pode explorar melhor a informação temporal para o sistema. Experimentos demonstraram a eficácia do design do sistema e seu desempenho de ponta em estimativa de pose em comparação com trabalhos anteriores. Nossos códigos estão disponíveis para pesquisa em https://shaohua-pan.github.io/diffcap-page.
Pan et al. (Sex,) estudaram esta questão.