Key points are not available for this paper at this time.
Resumo Compreender textos e gerar imagens realistas de alta resolução a partir de descrições textuais é um tópico significativo e desafiador. A maioria dos métodos existentes de geração de imagem a partir de texto segue a estrutura de rede adversária generativa (GAN) de múltiplas etapas. Portanto, a qualidade da imagem das etapas atuais depende fortemente das imagens geradas nas etapas anteriores. Além disso, os geradores de imagem a partir de texto atuais não garantem tão bem uma relação consistente entre a descrição do texto e a imagem gerada. Para abordar as questões acima, apresentamos uma nova arquitetura GAN de Fusão de Características de Texto (TF-GAN), enfatizando a seleção de palavras locais úteis e a extração de características globais de sentenças semanticamente consistentes. Primeiro, palavras-chave úteis são extraídas na descrição do texto pelo mecanismo de atenção de fusão de sentenças proposto (SFAttn) para otimizar as características da imagem nas etapas iniciais e fornecer detalhes refinados para as imagens da etapa posterior. Em segundo lugar, propomos um novo Bloco de Fusão Condicional (CFBlock), que combina múltiplas transformações afins não lineares para restringir imagens em um nível semântico global. Isso permite que o modelo funde mais profundamente as características de sentença e imagem, levando a imagens geradas mais semanticamente consistentes. Experimentos extensivos e comparação com outros métodos de última geração no conjunto de dados Caltech-UCSD Birds 200 (CUB) e no conjunto de dados Microsoft Common Objects in Context (COCO) mostram que nossas imagens geradas são mais fotorrealistas e mais próximas das descrições textuais.
Jiang et al. (Mon,) estudaram essa questão.