Sistema de identificação e reconhecimento de ações em tempo real com múltiplos trabalhadores utilizando aprendizado profundo multimodal para gêmeo digital humano

Resumo A segurança dos trabalhadores em ambientes industriais modernos está se tornando cada vez mais crítica devido às complexidades introduzidas pelas colaborações entre humanos e máquinas, tornando o reconhecimento de atividades em tempo real essencial. O reconhecimento de atividades humanas unimodal convencional (HAR), que depende exclusivamente de sensores de inércia ou câmeras, frequentemente apresenta desempenho degradado em cenários dinâmicos devido a oclusão, falhas de sensores e baixa escalabilidade em cenários com múltiplos trabalhadores. Para abordar essas limitações, propomos um sistema de HAR multimodal em tempo real como o componente central de um gêmeo digital humano (HDT) para gestão de segurança. O sistema integra dados de unidade de medição inercial (IMU) dos smartphones dos trabalhadores com dados de visão da infraestrutura de circuito fechado de televisão (CCTV) existente, eliminando a necessidade de equipamentos adicionais. A identidade do trabalhador é mantida vinculando identificadores de smartphones aos resultados de reconhecimento facial obtidos a partir de transmissões de vídeo, permitindo rastreamento consistente mesmo quando os trabalhadores deixam temporariamente o campo de visão da câmera. Uma estratégia de fusão de pontuações adaptativa equilibra dinamicamente as modalidades de acordo com a confiança, o que melhora a robustez do sistema a dados ausentes ou ruidosos. Essa abordagem avança o HAR além de ambientes laboratoriais controlados e fornece uma fundação prática e computacionalmente eficiente para a gestão de segurança baseada em HDT em ambientes industriais.