DynRefer: Explorando Tarefas de Multi-modalidade em Nível de Região através de Resolução Dinâmica

Métodos de multi-modalidade em nível de região podem traduzir regiões de imagem referidas para descrições em linguagem preferida pelo ser humano. Infelizmente, a maioria dos métodos existentes que utilizam entradas visuais fixas carece da adaptabilidade de resolução para encontrar descrições linguísticas precisas. Neste estudo, propomos uma abordagem de resolução dinâmica, chamada DynRefer, para buscar referências em nível de região com alta precisão, mimetizando a adaptabilidade de resolução da cognição visual humana. O DynRefer primeiro implementa um alinhamento estocástico de visão-linguagem. Ele alinha as descrições linguísticas desejadas das tarefas de multi-modalidade com imagens de resolução estocástica, que são construídas ao aninhar um conjunto de vistas ao redor da região referida. Em seguida, o DynRefer implementa uma referência dinâmica de multi-modalidade, que é realizada selecionando vistas com base em priors de imagem e linguagem. Isso permite que as informações visuais usadas para a referência correspondam melhor às preferências humanas, melhorando assim a adaptabilidade representacional dos modelos de multi-modalidade em nível de região. Experimentos extensivos mostram que o DynRefer traz melhorias mútuas em tarefas que incluem legendagem em nível de região, reconhecimento de região de vocabulário aberto e detecção de atributos. Por último, mas não menos importante, o DynRefer alcança novos estados da arte em múltiplas tarefas de multi-modalidade em nível de região usando um único modelo. O código está disponível em https://github.com/callsys/DynRefer.