Sabedoria da Diversidade: Mitigação de Viés Através de Multidões Híbridas Humano-LLM

Apesar de seu desempenho, os grandes modelos de linguagem (LLMs) podem inadvertidamente perpetuar preconceitos encontrados nos dados com os quais são treinados. Ao analisar as respostas dos LLMs a manchetes que provocam viés, descobrimos que esses modelos muitas vezes refletem preconceitos humanos. Para abordar isso, exploramos estratégias baseadas em multidões para mitigar viés por meio de agregação de respostas. Primeiro, demonstramos que simplesmente calcular a média das respostas de vários LLMs, pretendendo aproveitar a ``sabedoria da multidão'', pode agravar preconceitos existentes devido à diversidade limitada nas multidões de LLMs. Em contraste, mostramos que métodos de agregação pesados localmente aproveitam de maneira mais eficaz a sabedoria da multidão de LLM, alcançando tanto a mitigação de viés quanto uma precisão melhorada. Finalmente, reconhecendo as forças complementares dos LLMs (precisão) e dos humanos (diversidade), demonstramos que multidões híbridas contendo ambos melhoram significativamente o desempenho e reduzem ainda mais os preconceitos em contextos étnicos e relacionados ao gênero.