SPG-VTON: Orientação de Previsão Semântica para Experimentação Virtual Multi-Pose

A experimentação virtual baseada em imagem é desafiadora para ajustar roupas alvo em loja a uma pessoa de referência sob diversas poses humanas. Trabalhos anteriores focam em preservar os detalhes das roupas (por exemplo, textura, logotipos, padrões) ao transferir roupas desejadas para uma pessoa alvo sob uma pose fixa. No entanto, o desempenho dos métodos existentes cai significativamente ao estender esses métodos para a experimentação virtual multi-pose. Neste artigo, propomos uma Rede de Experimentação Virtual Multi-Pose com Orientação de Previsão Semântica (SPG-VTON), que pode ajustar as roupas desejadas a uma pessoa de referência sob poses arbitrárias. Especificamente, o SPG-VTON é composto por três sub-módulos. Primeiro, um Módulo de Previsão Semântica (SPM) gera o mapa semântico desejado. O mapa semântico previsto fornece uma orientação mais abundante para localizar a região de vestuário desejada e produzir uma imagem de tentativa grosseira. Em segundo lugar, um Módulo de Deformação de Roupas (CWM) deforma as roupas de loja para a forma desejada de acordo com o mapa semântico previsto e a pose desejada. Especificamente, introduzimos uma perda de consistência cíclica realizável para aliviar o desalinhamento no processo de deformação das roupas. Em terceiro lugar, um Módulo de Síntese de Experimentação (TSM) combina o resultado grosseiro e as roupas deformadas para gerar a imagem final da experimentação virtual, preservando os detalhes das roupas desejadas e sob a pose desejada. Além disso, introduzimos uma perda de identidade facial para refinar a aparência facial e manter a identidade do resultado final da experimentação virtual ao mesmo tempo. Avaliamos o método proposto no maior conjunto de dados multi-pose (MPV) e no conjunto de dados DeepFashion. Os experimentos qualitativos e quantitativos mostram que o SPG-VTON é superior aos métodos de ponta e é robusto ao ruído dos dados, incluindo mudanças de fundo e acessórios, ou seja, chapéus e bolsas, mostrando boa escalabilidade para o cenário do mundo real.