Viés de gênero e estereótipos em Modelos de Linguagem de Grande Escala

Modelos de Linguagem de Grande Escala (LLMs) fizeram progressos substanciais nos últimos meses, quebrando benchmarks de ponta em muitos domínios. Este artigo investiga o comportamento dos LLMs em relação aos estereótipos de gênero, um problema conhecido para modelos anteriores. Usamos um paradigma simples para testar a presença de viés de gênero, baseando-nos, mas diferenciando-nos do WinoBias, um conjunto de dados de viés de gênero comumente utilizado, que provavelmente está incluído nos dados de treinamento dos LLMs atuais. Testamos quatro LLMs recentemente publicados e demonstramos que eles expressam suposições tendenciosas sobre as ocupações de homens e mulheres. Nossas contribuições neste artigo são as seguintes: (a) os LLMs têm de 3 a 6 vezes mais chances de escolher uma ocupação que se alinha estereotipicamente ao gênero de uma pessoa; (b) essas escolhas se alinham melhor com as percepções das pessoas do que com a verdade objetiva refletida em estatísticas de empregos oficiais; (c) os LLMs de fato amplificam o viés além do que é refletido nas percepções ou na verdade objetiva; (d) os LLMs ignoram ambiguidades cruciais na estrutura da frase 95% do tempo em nossos itens de estudo, mas quando solicitados explicitamente, reconhecem a ambiguidade; (e) os LLMs fornecem explicações para suas escolhas que são factualmente imprecisas e provavelmente obscurecem a verdadeira razão por trás de suas previsões. Ou seja, eles fornecem racionalizações de seu comportamento tendencioso. Isso destaca uma propriedade chave desses modelos: os LLMs são treinados em conjuntos de dados desequilibrados; assim, mesmo com os sucessos recentes do aprendizado por reforço com feedback humano, eles tendem a refletir esses desequilíbrios de volta para nós. Assim como em outros tipos de viés social, sugerimos que os LLMs devem ser cuidadosamente testados para garantir que tratem indivíduos e comunidades minoritários de forma equitativa.