Reconhecimento de Gestos de Mão Baseado em Superpixels com Câmera de Profundidade Kinect

Este artigo apresenta um novo sistema de reconhecimento de gestos de mão baseado em superpixels, fundamentado em uma nova métrica de distância do movedor de terra de superpixels, em conjunto com a câmera de profundidade Kinect. As informações de profundidade e esqueleto do Kinect são efetivamente utilizadas para produzir extração de mão sem marcadores. As formas das mãos, texturas correspondentes e profundidades são representadas na forma de superpixels, que retêm efetivamente as formas e cores gerais dos gestos a serem reconhecidos. Com base nesta representação, é proposta uma nova métrica de distância, a distância do movedor de terra de superpixels (SP-EMD), para medir a dessemelhança entre os gestos de mão. Essa medição é não apenas robusta a distorções e articulações, mas também invariante a escalonamentos, traduções e rotações com o devido pré-processamento. A eficácia da métrica de distância proposta e do algoritmo de reconhecimento é ilustrada por extensos experimentos com nosso próprio conjunto de dados de gestos, bem como com dois outros conjuntos de dados públicos. Resultados de simulação mostram que o sistema proposto é capaz de alcançar alta precisão média e velocidade de reconhecimento rápida. Sua superioridade é ainda demonstrada por comparações com outras técnicas convencionais e duas aplicações na vida real.