Mesurer le biais politique dans les grands modèles de langage : Ce qui est dit et comment c'est dit

Nous proposons de mesurer le biais politique dans les LLM en analysant à la fois le contenu et le style de leur contenu généré concernant les questions politiques. Les benchmarks et mesures existants se concentrent sur les biais de genre et raciaux. Cependant, le biais politique existe dans les LLM et peut conduire à la polarisation et à d'autres préjudices dans les applications en aval. Afin d'offrir une transparence aux utilisateurs, nous plaidons pour qu'il y ait des mesures de biais politiques fines et explicables générées par les LLM. Notre mesure proposée examine différentes questions politiques telles que les droits reproductifs et le changement climatique, tant au niveau du contenu (la substance de la génération) que du style (la polarité lexicale) de ce biais. Nous avons mesuré le biais politique dans onze LLM open source et avons montré que notre cadre proposé est facilement extensible à d'autres sujets et est explicable.