Si bien los modelos de lenguaje grandes (LLMs) ya desempeñan roles significativos en la sociedad, la investigación ha demostrado que los LLMs aún generan contenido que incluye sesgo social contra ciertos grupos sensibles. Aunque los benchmarks existentes han identificado de manera efectiva los sesgos sociales en los LLMs, persiste una brecha crítica en nuestra comprensión del razonamiento subyacente que conduce a estas salidas sesgadas. Este artículo da un paso más para evaluar el proceso de razonamiento causal de los LLMs cuando responden preguntas que suscitan sesgos sociales. Primero proponemos un nuevo marco conceptual para clasificar el razonamiento causal producido por los LLMs. A continuación, utilizamos LLMs para sintetizar 1788 preguntas que cubren 8 atributos sensibles y las validamos manualmente. Las preguntas pueden probar diferentes tipos de razonamiento causal al permitir que los LLMs revelen su proceso de razonamiento con gráficos causales. Luego, probamos 4 LLMs de última generación. Todos los modelos responden la mayoría de las preguntas con razonamiento causal sesgado, lo que resulta en un total de 4135 gráficos causales sesgados. Mientras tanto, descubrimos 3 estrategias para que los LLMs eviten el razonamiento causal sesgado al analizar los casos "libres de sesgo". Finalmente, revelamos que los LLMs también son propensos al razonamiento causal "erróneamente sesgado", donde primero confunden correlación con causalidad para inferir nombres específicos de grupos sensibles y luego incorporan razonamiento causal sesgado.
Xie et al. (Tue,) estudiaron esta pregunta.