Extração de Esboço Baseada em Referência via Mecanismo de Atenção

Propomos um modelo que extrai um esboço de uma imagem colorida de tal forma que o esboço extraído tenha um estilo de linha semelhante ao de um esboço de referência dado, preservando o conteúdo visual de forma idêntica à imagem colorida. Esboços autênticos desenhados por artistas possuem vários estilos de esboço para adicionar interesse visual e contribuir para a sensação do esboço. No entanto, os métodos existentes de extração de esboços geram esboços com apenas um estilo. Além disso, os modelos existentes de transferência de estilo não conseguem transferir estilos de esboços porque são, na maioria das vezes, projetados para transferir texturas de uma imagem de estilo de origem em vez de transferir os estilos de linha esparsos de um esboço de referência. Falta o volume necessário de dados para o treinamento padrão de sistemas de tradução, e no cerne de nossa solução baseada em GAN está um gerador de estilo de esboço de auto-referência que produz vários esboços de referência com um estilo semelhante, mas com diferentes arranjos espaciais. Usamos módulos de atenção independentes para detectar as bordas de uma imagem colorida e de um esboço de referência, bem como as correspondências visuais entre eles. Aplicamos várias funções de perda para imitar o estilo e impor esparsidade nos esboços extraídos. Nosso método de extração de esboços resulta em uma imitação próxima do estilo de esboço de referência desenhado por um artista e supera todos os métodos de baseline. Usando nosso método, produzimos um conjunto de dados sintético representando vários estilos de esboço e melhoramos o desempenho dos modelos de auto-colorização, muito requisitados em quadrinhos. A validade de nossa abordagem é confirmada por avaliações qualitativas e quantitativas.