Em Direção a Arquiteturas Aumentadas por Recuperação para Legenda de Imagens

O objetivo dos modelos de legenda de imagens é diminuir a lacuna entre as modalidades visual e linguística, gerando descrições em linguagem natural que reflitam com precisão o conteúdo das imagens de entrada. Nos últimos anos, pesquisadores aproveitaram modelos baseados em aprendizado profundo e fizeram avanços na extração de características visuais e no design de conexões multimodais para abordar esta tarefa. Este trabalho apresenta uma abordagem inovadora para o desenvolvimento de modelos de legenda de imagens que utilizam uma memória externa k NN para melhorar o processo de geração. Especificamente, propomos duas variantes de modelo que incorporam um componente de recuperação de conhecimento baseado em similaridades visuais, um codificador diferenciável para representar imagens de entrada e um modelo de linguagem aumentado por k NN para prever tokens com base em pistas contextuais e texto recuperado da memória externa. Validação experimental da nossa abordagem foi realizada em conjuntos de dados COCO e nocaps, demonstrando que a incorporação de uma memória externa explícita pode aumentar significativamente a qualidade das legendas, especialmente com um corpus de recuperação maior. Este trabalho fornece insights valiosos sobre modelos de legenda aumentados por recuperação e abre novas avenidas para melhorar a legenda de imagens em uma escala maior.