Aprendizado Federado para Problemas de Ancoragem entre Visão e Linguagem

Recentemente, problemas de ancoragem entre visão e linguagem, como legendagem de imagens e resposta a perguntas visuais (VQA), atraíram amplos interesses tanto do mundo acadêmico quanto industrial. No entanto, dada a semelhança dessas tarefas, os esforços para obter melhores resultados combinando os méritos de seus algoritmos não são bem estudados. Inspirados pelo recente sucesso do aprendizado federado, propomos uma estrutura de aprendizado federado para obter vários tipos de representações de imagem de diferentes tarefas, que são então fundidas para formar representações de imagem detalhadas. As representações combinam características úteis de diferentes problemas de ancoragem entre visão e linguagem, e são, portanto, muito mais poderosas do que as representações originais isoladamente em tarefas individuais. Para aprender tais representações de imagem, propomos a Rede de Alinhamento, Integração e Mapeamento (aimNet). A aimNet é validada em três configurações de aprendizado federado, que incluem aprendizado federado horizontal, aprendizado federado vertical e aprendizado transferido federado. Experimentos da estrutura de aprendizado federado baseada em aimNet em duas tarefas representativas, ou seja, legendagem de imagens e VQA, demonstram as melhorias eficazes e universais de todas as métricas em relação às linhas de base. Na legendagem de imagens, conseguimos obter um ganho relativo de 14% e 13% nas métricas específicas da tarefa CIDEr e SPICE, respectivamente. No VQA, também conseguimos impulsionar o desempenho de linhas de base fortes em até 3%.