Uma Estrutura Simples de Saída Antecipada para Amostragem Acelerada em Modelos de Difusão

Os modelos de difusão demonstraram desempenho notável em problemas de geração em vários domínios, incluindo imagens, vídeos, texto e áudio. Um gargalo prático dos modelos de difusão é sua velocidade de amostragem, devido à avaliação repetida das redes de estimativa de pontuação durante a inferência. Neste trabalho, propomos uma nova estrutura capaz de alocar de forma adaptativa o cálculo necessário para a estimativa de pontuação, reduzindo assim o tempo total de amostragem dos modelos de difusão. Observamos que a quantidade de computação necessária para a estimativa de pontuação pode variar ao longo do passo de tempo para o qual a pontuação é estimada. Com base nessa observação, propomos um esquema de saída antecipada, onde pulamos o subconjunto de parâmetros na rede de estimativa de pontuação durante a inferência, com base em um cronograma de saída dependente do tempo. Usando os modelos de difusão para síntese de imagem, mostramos que nosso método poderia melhorar significativamente a taxa de amostragem dos modelos de difusão sem comprometer a qualidade da imagem. Além disso, também demonstramos que nosso método se integra perfeitamente com vários tipos de solucionadores para amostragem mais rápida, aproveitando sua compatibilidade para aumentar a eficiência geral. O código-fonte e nossos experimentos estão disponíveis em https://github.com/taehong-moon/ee-diffusion.