Geração de Imagens Multi-Visão a partir de uma Única Visão

Como gerar imagens multi-visão com aparência realista a partir de apenas uma entrada de visão única é um problema desafiador. Neste artigo, enfrentamos esse problema propondo um novo modelo de geração de imagens denominado VariGANs, que combina as vantagens da inferência variacional e das Redes Gerativas Adversariais (GANs). Ele gera a imagem alvo de maneira grosseira a fina, em vez de uma única passagem que sofre de artefatos severos. Primeiro, realiza a inferência variacional para modelar a aparência global do objeto (por exemplo, forma e cor) e produz imagens grosseiras de diferentes visões. Condicionado às imagens grosseiras geradas, ele então realiza o aprendizado adversarial para preencher os detalhes consistentes com a entrada e gerar as imagens finas. Experimentos extensivos realizados em dois conjuntos de dados de roupas, MVC e DeepFashion, demonstraram que as imagens geradas com os VariGANs propostos são mais plausíveis do que aquelas geradas por abordagens existentes, que fornecem uma aparência global mais consistente, bem como detalhes mais ricos e nítidos.