Rumo à Reidentificação de Pessoas Agnóstica à Modalidade com Consulta Descritiva

A reidentificação de pessoas (ReID) com consulta descritiva (texto ou esboço) fornece um complemento importante para os paradigmas gerais imagem-imagem, sendo geralmente estudada de maneira de correspondência de modalidade cruzada única, por exemplo, texto-para-imagem ou esboço-para-foto. No entanto, sem uma consulta por foto capturada por câmera, é incerto se o texto ou o esboço está disponível ou não em cenários práticos. Isso nos motiva a estudar um novo e desafiador problema de reidentificação de pessoas agnóstica à modalidade. Para atingir esse objetivo, propomos uma arquitetura unificada de reidentificação de pessoas (UNIReID) que pode se adaptar eficazmente a tarefas de modalidade cruzada e multimodalidade. Especificamente, o UNIReID incorpora um codificador duplo simples com aprendizado de modalidade específico da tarefa para minerar e fundir informações de modalidades visual e textual. Para lidar com o problema de treinamento desbalanceado de diferentes tarefas no UNIReID, propomos uma estratégia de treinamento dinâmico consciente da tarefa em termos de dificuldade da tarefa, ajustando de forma adaptativa o foco do treinamento. Além disso, construímos três conjuntos de dados ReID multimodais coletando os esboços correspondentes a partir de fotos para apoiar este estudo desafiador. Os resultados experimentais em três conjuntos de dados ReID multimodais mostram que nosso UNIReID melhora significativamente a precisão de recuperação e a capacidade de generalização em diferentes tarefas e cenários não vistos.