FairGen: Controlando Atributos Sensíveis para Gerações Justas em Modelos de Difusão via Orientação Latente Adaptativa

Modelos de difusão de texto para imagem frequentemente exibem preconceitos em relação a grupos demográficos específicos, como gerar mais homens do que mulheres quando solicitados a criar imagens de engenheiros, levantando preocupações éticas e limitando sua adoção. Neste artigo, abordamos o desafio de mitigar o viés de geração em relação a qualquer valor de atributo alvo (por exemplo, "masculino" para "gênero") em modelos de difusão, preservando a qualidade da geração. Propomos o FairGen, um mecanismo de orientação latente adaptativa que controla a distribuição de geração durante a inferência. No FairGen, um módulo de orientação latente ajusta dinamicamente o processo de difusão para impor atributos específicos, enquanto um módulo de memória rastreia as estatísticas de geração e direciona a orientação latente para alinhar com a distribuição justa alvo dos valores de atributo. Além disso, dadas as limitações dos conjuntos de dados existentes em avaliar de forma abrangente o viés em modelos de difusão, introduzimos um banco de avaliação de viés holístico HBE, cobrindo diversos domínios e incorporando prompts complexos em várias aplicações. Avaliações extensivas nos conjuntos de dados HBE e Stable Bias demonstram que o FairGen supera as abordagens existentes de mitigação de viés, alcançando uma redução substancial de viés (por exemplo, 68,5% de redução de viés de gênero no Stable Diffusion 2). Estudos de ablação destacam a capacidade do FairGen de controlar de maneira flexível e precisa a distribuição de geração em qualquer granularidade especificada pelo usuário, garantindo uma mitigação de viés adaptativa e direcionada.