명백히 편향이 없는 대형 언어 모델도 여전히 편향된 연관성을 형성합니다.

대형 언어 모델(LLMs)은 명백한 사회적 편향 테스트를 통과할 수 있지만 여전히 인간처럼 암묵적인 편향을 내포하고 있을 수 있습니다. 인간은 평등주의적 신념을 지지하지만 미세한 편향을 보입니다. 이러한 암묵적인 편향을 측정하는 것은 도전이 될 수 있습니다: LLM이 점점 더 독점적으로 변함에 따라 이들의 임베딩에 접근하고 기존의 편향 측정 방법을 적용하는 것이 불가능할 수 있습니다; 더욱이, 암묵적 편향은 이러한 시스템이 내리는 실제 결정에 영향을 미치는 경우에만 주로 concern 됩니다. 우리는 두 가지 측정 방법을 도입하여 이러한 두 가지 도전에 대응합니다: LLM 단어 연관 테스트는 암묵적인 편향을 드러내는 프롬프트 기반 방법입니다; LLM 상대 결정 테스트는 맥락적 결정에서 미세한 차별을 감지하기 위한 전략입니다. 두 가지 측정 방법 모두 심리학 연구에 기반하고 있습니다: LLM 단어 연관 테스트는 인간의 마음에 존재하는 개념 간의 자동적인 연관성을 연구하기 위해 널리 사용되는 암묵적 연관 테스트를 수정한 것입니다; LLM 상대 결정 테스트는 독립적으로 각 후보자를 평가하는 절대 평가가 아닌 두 후보자 사이의 상대적 평가가 암묵적 편향을 더 잘 진단한다는 심리학적 결과를 구체화합니다. 이러한 측정 방법을 사용하여, 우리는 21개의 고정 관념(예: 인종과 범죄, 인종과 무기, 성별과 과학, 나이와 부정성)에서 4개의 사회적 카테고리에 걸쳐 8개의 가치 정렬 모델에서 사회에서 나타나는 광범위한 고정 관념 편향을 발견했습니다. 이러한 프롬프트 기반 측정 방법은 순전히 관찰 가능한 행동을 기반으로 한 고정 관념 측정을 위한 심리학 연구의 오랜 역사를 활용하고 있습니다; 이들은 표준 벤치마크에 따르면 편향이 없는 것처럼 보이는 독점적인 가치 정렬 LLM에서 미세한 편향을 드러냅니다.