Aprendendo Conjuntamente Recursos Heterogêneos para Reconhecimento de Atividades RGB-D

Neste artigo, focamos no aprendizado de recursos heterogêneos para reconhecimento de atividades RGB-D. Descobrimos que os recursos de diferentes canais (RGB, profundidade) poderiam compartilhar algumas estruturas ocultas semelhantes e, em seguida, propomos um modelo de aprendizado conjunto para explorar simultaneamente os componentes compartilhados e específicos dos recursos, como uma instância de aprendizado multi-tarefa heterogêneo. O modelo proposto, formado em uma estrutura unificada, é capaz de: 1) minerar conjuntamente um conjunto de subespaços com a mesma dimensionalidade para explorar recursos compartilhados latentes entre diferentes canais de recursos, 2) ao mesmo tempo, quantificar os componentes compartilhados e específicos dos recursos nos subespaços, e 3) transferir transformações intermediárias específicas de recursos (i-transformações) para aprender a fusão de recursos heterogêneos entre conjuntos de dados. Para treinar eficientemente o modelo conjunto, é proposto um algoritmo de otimização iterativa em três etapas, seguido por um modelo de inferência simples. Resultados experimentais extensivos em quatro conjuntos de dados de atividades demonstraram a eficácia do método proposto. Um novo conjunto de dados de atividades RGB-D focado na interação humano-objeto foi adicionalmente contribuído, apresentando mais desafios para a benchmarkização de atividades RGB-D.