Recuperación de objetos con grandes vocabularios y emparejamiento espacial rápido

En este artículo, presentamos un sistema de recuperación de objetos a gran escala. El usuario proporciona un objeto de consulta seleccionando una región de una imagen de consulta, y el sistema devuelve una lista ordenada de imágenes que contienen el mismo objeto, recuperadas de un gran corpus. Demostramos la escalabilidad y el rendimiento de nuestro sistema en un conjunto de datos de más de 1 millón de imágenes extraídas del sitio de intercambio de fotos, Flickr 3, utilizando monumentos de Oxford como consultas. Construir un vocabulario de características de imagen es un importante cuello de botella en tiempo y rendimiento, debido al tamaño de nuestro conjunto de datos. Para abordar este problema, comparamos diferentes métodos escalables para construir un vocabulario e introducimos un novedoso método de cuantización basado en árboles aleatorios que demostramos supera el estado del arte actual en una extensa verdad de terreno. Nuestros experimentos muestran que la cuantización tiene un efecto importante en la calidad de recuperación. Para mejorar aún más el rendimiento de consulta, agregamos una etapa de verificación espacial eficiente para reordenar los resultados devueltos de nuestro modelo de bolsa de palabras y mostramos que esto mejora consistentemente la calidad de búsqueda, aunque en menor medida cuando el vocabulario visual es grande. Vemos este trabajo como un paso prometedor hacia corpus de imágenes mucho más grandes, "a escala web".