Detecção de Objetos Zero-Shot com Descrições Textuais

A detecção de objetos é importante em aplicações do mundo real. Métodos existentes se concentram principalmente na detecção de objetos com dados de treinamento rotulados suficientes ou detecção de objetos zero-shot apenas com nomes de conceitos. Neste artigo, abordamos o desafiador problema da detecção de objetos zero-shot com descrição em linguagem natural, que visa detectar e reconhecer simultaneamente novas instâncias de conceitos com descrições textuais. Propomos uma nova estrutura de aprendizado profundo para aprender conjuntamente unidades visuais, atenção de unidades visuais e atenção em nível de palavras, que são combinadas para alcançar afinidade de proposta de palavra por meio de uma multiplicação elemento a elemento. Até onde sabemos, este é o primeiro trabalho sobre detecção de objetos zero-shot com descrições textuais. Como não há trabalho diretamente relacionado na literatura, investigamos soluções plausíveis baseadas na detecção de objetos zero-shot existente para uma comparação justa. Realizamos experimentos extensivos em três conjuntos de dados de benchmark desafiadores. Os extensos resultados experimentais confirmam a superioridade do modelo proposto.