DM-Align: Aproveitando o Poder das Instruções em Linguagem Natural para Fazer Mudanças em Imagens

A edição semântica de imagens baseada em texto assume a manipulação de uma imagem usando uma instrução em linguagem natural. Embora trabalhos recentes sejam capazes de gerar imagens criativas e qualitativas, o problema ainda é abordado principalmente como uma caixa-preta sensível à geração de saídas inesperadas. Portanto, propomos um novo modelo para melhorar o controle baseado em texto de um editor de imagens, raciocinando explicitamente sobre quais partes da imagem alterar ou preservar. Ele se baseia em alinhamentos de palavras entre uma descrição da imagem original e a instrução que reflete as atualizações necessárias, e a imagem de entrada. A proposta de Difusão com Máscara e Alinhamentos de palavras (DM-Align) permite a edição de uma imagem de maneira transparente e explicável. É avaliada em um subconjunto do conjunto de dados Bison e um conjunto de dados autodefinido chamado Dream. Ao comparar com referências de estado da arte, os resultados quantitativos e qualitativos mostram que o DM-Align apresenta desempenho superior na edição de imagens condicionada a instruções em linguagem, preserva bem o fundo da imagem e pode lidar melhor com longas instruções textuais.