大規模言語モデルにおける心理尺度の信頼性を再考する

最近の研究では、大規模言語モデル（LLM）の特性を心理学的な観点から調査することに焦点が当てられ、これらの行動特性を理解する必要性が認識されています。LLMに対する人格テストの実施は、この文脈において注目すべき分野として浮上しています。しかし、人間のために最初に考案された心理尺度をLLMに適用する妥当性については、依然として議論が続いています。我々の研究は、LLMに対する人格評価の信頼性を明らかにすることを目的としており、特にLLMが一貫した人格特性を示すかどうかを調査しています。GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1を含む各モデルについて、2,500の設定の分析により、さまざまなLLMがビッグファイブインベントリへの応答において一貫性を示し、満足のいくレベルの信頼性があることがわかりました。さらに、我々の研究は、GPT-3.5が多様な人格を模倣し、さまざまなグループを表現する可能性を探求しています。これは、コスト削減のために人間の参加者をLLMに置き換えることがますます求められている社会科学での能力です。我々の発見は、LLMが特定のプロンプト指示に基づいて異なる人格を表現する可能性を持っていることを明らかにしています。