Aprendizado de Correspondência entre Domínios para Tradução de Imagem Baseada em Exemplo

Apresentamos uma estrutura geral para tradução de imagem baseada em exemplo, que sintetiza uma imagem fotorrealista a partir da entrada em um domínio distinto (por exemplo, máscara de segmentação semântica, mapa de bordas ou pontos-chave de pose), dado uma imagem de exemplo. A saída possui o estilo (por exemplo, cor, textura) consistente com os objetos semânticamente correspondentes no exemplar. Propomos aprender conjuntamente a correspondência entre domínios e a tradução de imagem, onde ambas as tarefas se facilitam mutuamente e, assim, podem ser aprendidas com supervisão fraca. As imagens de domínios distintos são primeiramente alinhadas a um domínio intermediário onde a correspondência densa é estabelecida. Em seguida, a rede sintetiza imagens com base na aparência de patches correspondentes semânticamente no exemplar. Demonstramos a eficácia da nossa abordagem em várias tarefas de tradução de imagem. Nosso método é superior aos métodos de ponta em termos de qualidade da imagem significativamente, com o estilo da imagem fiel ao exemplar com consistência semântica. Além disso, mostramos a utilidade do nosso método para várias aplicações.