Composer: Síntese de Imagem Criativa e Controlável com Condições Componíveis

Modelos generativos em larga escala recentes, treinados em grandes volumes de dados, são capazes de sintetizar imagens incríveis, mas sofrem de controlabilidade limitada. Este trabalho oferece um novo paradigma de geração que permite controle flexível da imagem de saída, como layout espacial e paleta, mantendo a qualidade da síntese e a criatividade do modelo. Com a composicionalidade como ideia central, primeiro decompomos uma imagem em fatores representativos e depois treinamos um modelo de difusão com todos esses fatores como condições para recompor a entrada. Na fase de inferência, as ricas representações intermediárias funcionam como elementos componíveis, levando a um imenso espaço de design (ou seja, proporcionalmente exponencial ao número de fatores decompostos) para criação de conteúdo personalizável. É notável que nossa abordagem, que chamamos de Composer, suporta vários níveis de condições, como descrição em texto como a informação global, mapa de profundidade e esboço como orientação local, histograma de cores para detalhes de baixo nível, etc. Além de melhorar a controlabilidade, confirmamos que o Composer serve como uma estrutura geral e facilita uma ampla gama de tarefas generativas clássicas sem necessidade de re-treinamento. Código e modelos serão disponibilizados.