Olhos Largamente Abertos: Detecção de Erros Não Supervisionada em Vídeos Egocêntricos através da Detecção de Olhar Imprevisível

Neste artigo, abordamos o desafio da detecção de erros não supervisionada em vídeos egocêntricos através da análise de sinais de olhar, um componente crítico para o avanço da assistência ao usuário em óculos inteligentes. Métodos tradicionais supervisionados, que dependem de erros rotulados manualmente, sofrem de problemas de dependência de domínio e escalabilidade. Esta pesquisa introduz um método não supervisionado para detectar erros em vídeos de atividades humanas, superando os desafios das exigências específicas de domínio e a necessidade de dados anotados. Ao analisar padrões de olhar incomuns que sinalizam desorientação do usuário durante tarefas, propomos um modelo de completude do olhar que prevê trajetórias do olhar a partir de entradas incompletas. A diferença entre os caminhos de olhar antecipados e observados atua como um indicador para identificar erros. Nosso método foi validado no conjunto de dados EPIC-Tent, mostrando sua superioridade em comparação com as técnicas atuais supervisionadas e não supervisionadas de uma única classe.