Filtragem Visual de Um Estágio via Filtro de Recursos Sensível ao Semântico

A ancoragem visual atraiu muita atenção com a popularidade da linguagem visual. Os métodos existentes de um estágio estão muito à frente dos métodos de dois estágios em termos de velocidade. No entanto, esses métodos fundem o recurso textual e o mapa de recursos visuais por concatenação simples, o que ignora a semântica textual e limita a capacidade desses modelos de entendimento cross-modal. Para superar essa fraqueza, propomos uma estrutura sensível ao semântico que utiliza tanto o conhecimento estruturado das consultas quanto representações sensíveis ao contexto para filtrar os mapas de recursos visuais e localizar os referentes de maneira mais precisa. Nossa estrutura contém um filtro de entidade, um filtro de atributo e um filtro de localização. Esses três filtros filtram o mapa de recursos visuais de entrada passo a passo de acordo com os aspectos de cada consulta, respectivamente. Um módulo de ancoragem retinha ainda mais as caixas delimitadoras para localizar o objeto referencial. Experimentos em vários conjuntos de dados comumente usados mostram que nossa estrutura atinge uma velocidade de inferência em tempo real e supera todos os métodos de ponta.