Síntese de Imagem em Ultra-Alta Resolução com Modelo de Difusão em Pirâmide

Apresentamos o Modelo de Difusão em Pirâmide (PDM), uma nova arquitetura projetada para a síntese de imagens em ultra-alta resolução. O PDM utiliza uma representação latente em pirâmide, proporcionando um espaço de design mais amplo que permite uma compressão perceptual mais flexível, estruturada e eficiente, que capacita AutoEncoder e Rede de Difusão a equipar ramificações e camadas mais profundas. Para melhorar as capacidades do PDM em tarefas generativas, propomos a integração de Atenção Espacial-Canal e Conexão Res-Skip, juntamente com a utilização de Norma Espectral e Estratégia de Dropout Decrescente para a Rede de Difusão e AutoEncoder. Em resumo, o PDM alcança pela primeira vez a síntese de imagens com uma resolução de 2K, demonstrada em dois novos conjuntos de dados compostos por imagens de tamanhos 2048x2048 pixels e 2048x1024 pixels, respectivamente. Acreditamos que este trabalho oferece uma abordagem alternativa para o design de modelos geradores de imagem escaláveis, ao mesmo tempo que fornece um reforço incremental para frameworks existentes.