Classificação de Vizinhos Mais Próximos com Grande Margem Usando Informação Privilegiada para Aplicações Biométricas

Neste artigo, um novo algoritmo de aprendizado de métricas é proposto para melhorar a verificação facial e a re-identificação de pessoas em imagens RGB, aprendendo a partir de imagens de treinamento RGB e de Profundidade (RGB-D). Abordamos esse problema ao formulá-lo como um problema de Aprendizado Usando Informação Privilegiada, no qual as imagens adicionais de profundidade associadas às imagens de treinamento RGB não estão disponíveis para o processo de teste. Com base na estrutura de classificação de vizinhos mais próximos com grande margem (LMNN), propomos um método eficaz de aprendizado de métrica chamado classificação de vizinhos mais próximos com grande margem e informação privilegiada (LMNN+) ao incorporar informações de profundidade para melhorar o aprendizado da função de decisão no processo de treinamento. Especificamente, duas métricas de distância baseadas em características visuais, bem como em características de profundidade, são aprendidas conjuntamente ao minimizar a perda tripla, na qual a diferença dentro da classe é minimizada, enquanto a diferença entre classes é maximizada. As distâncias no espaço de características de profundidade podem ser utilizadas para guiar o processo de treinamento no espaço de características visuais. Além disso, propomos um método de otimização eficiente que pode lidar com bilhões de restrições no problema de otimização do LMNN+. Os experimentos abrangentes no conjunto de dados EUROCOM, no conjunto de dados CurtinFaces, bem como no conjunto de dados BIWI RGBD-ID demonstram a eficácia do nosso algoritmo para verificação facial e re-identificação de pessoas aproveitando a informação privilegiada.