Alinhando Modalidades em Modelos de Linguagem de Visão Grande via Ajuste de Preferência

Modelos de Linguagem de Visão que seguem instruções (VLLMs) alcançaram progressos significativos recentemente em uma variedade de tarefas. Essas abordagens combinam fortes modelos de visão pré-treinados e grandes modelos de linguagem (LLMs). Como esses componentes são treinados separadamente, as representações aprendidas precisam ser alinhadas com um treinamento conjunto em pares adicionais de imagem-linguagem. Esse procedimento não é perfeito e pode causar alucinações no modelo - fornecer respostas que não refletem com precisão a imagem, mesmo quando o LLM principal é altamente factual e a base de visão possui representações suficientemente completas. Neste trabalho, enquadramos o problema da alucinação como uma questão de alinhamento, abordando-o com ajuste de preferência. Especificamente, propomos o POVID para gerar dados de feedback com modelos de IA. Usamos instruções corretas como a resposta preferida e uma abordagem em duas etapas para gerar dados não preferidos. Primeiro, convidamos o GPT-4V a injetar alucinações plausíveis na resposta correta. Segundo, distorcemos a imagem para desencadear o comportamento inerente de alucinação do VLLM. Esta é uma abordagem automatizada, que não depende da geração de dados humanos ou requer um especialista perfeito, o que a torna facilmente escalável. Finalmente, ambas as estratégias de geração são integradas em um pipeline de RLHF via Otimização Direta de Preferência. Em experimentos em amplos benchmarks, mostramos que podemos não apenas reduzir alucinações, mas melhorar o desempenho do modelo em benchmarks padrão, superando abordagens anteriores. Nossos dados e código estão disponíveis em https://github.com/YiyangZhou/POVID.