Uma Avaliação Empírica da Resposta a Perguntas Visuais para Objetos Novos

Estudamos o problema de responder perguntas sobre imagens em um cenário mais difícil, onde as perguntas de teste e as respectivas imagens contêm objetos novos, que não foram consultados nos dados de treinamento. Esse cenário é inevitável no mundo real - devido à distribuição assimétrica das categorias visuais, haveria alguns objetos que não seriam anotados no conjunto de treinamento. Mostramos que o desempenho de dois métodos populares existentes cai significativamente (até 28%) quando avaliados em objetos novos em comparação com objetos conhecidos. Propomos métodos que utilizam grandes corpora externos existentes de (i) texto não rotulado, ou seja, livros, e (ii) imagens marcadas com classes, para alcançar a resposta a perguntas visuais baseadas em objetos novos. Realizamos estudos empíricos sistemáticos, tanto para um caso de oráculo onde os objetos novos são conhecidos textualmente, quanto para um caso totalmente automático sem nenhum conhecimento explícito dos objetos novos, mas com a mínima suposição de que os objetos novos estão semanticamente relacionados aos objetos existentes no treinamento. Os métodos propostos para resposta a perguntas visuais baseadas em objetos novos são modulares e podem potencialmente ser usados com muitas arquiteturas de resposta a perguntas visuais. Mostramos melhorias consistentes com as duas arquiteturas populares e fornecemos uma análise qualitativa dos casos em que o modelo se sai bem e daqueles em que não consegue trazer melhorias.