ConceptBed: Avaliando as Habilidades de Aprendizado de Conceitos de Modelos de Difusão de Texto para Imagem

A capacidade de entender conceitos visuais e replicar e compor esses conceitos a partir de imagens é um objetivo central para a visão computacional. Avanços recentes em modelos de texto para imagem (T2I) levaram a uma geração de imagens de alta definição e qualidade realista, aprendendo a partir de grandes bancos de dados de imagens e suas descrições. No entanto, a avaliação dos modelos T2I tem se concentrado no fotorrealismo e em medidas qualitativas limitadas de compreensão visual. Para quantificar a capacidade dos modelos T2I em aprender e sintetizar novos conceitos visuais (a.k.a. T2I personalizado), introduzimos o ConceptBed, um conjunto de dados em larga escala que consiste em 284 conceitos visuais únicos e 33 mil prompts de texto compostos. Juntamente com o conjunto de dados, propomos uma métrica de avaliação, Desvio de Confiança do Conceito (CCD), que utiliza a confiança de classificadores de conceito oráculo para medir o alinhamento entre conceitos gerados por geradores T2I e conceitos contidos em imagens-alvo. Avaliamos conceitos visuais que são objetos, atributos ou estilos, e também avaliamos quatro dimensões de composicionalidade: contagem, atributos, relações e ações. Nosso estudo humano mostra que o CCD está altamente correlacionado com a compreensão humana de conceitos. Nossos resultados apontam para um compromisso entre aprender os conceitos e preservar a composicionalidade, que abordagens existentes lutam para superar. Os dados, código e demonstração interativa estão disponíveis em: https://conceptbed.github.io/