心理学研究における大規模言語モデルの評価: 審査者のためのガイド

大規模言語モデル（LLMs）は、科学研究においてデータの分析、合成データの生成、さらには科学論文の執筆に至るまで、ますます広く使用されています。この傾向により、ジャーナルのレビュアーはLLMを利用した作品の質を評価できる必要があります。我々は、心理学研究のレビュアーに対し、LLMを使用した研究の評価に関する包括的なガイドを提供し、データ処理の自動化と人間データのシミュレーションという二重の役割を検討します。レビュアーにとって重要な考慮事項を強調し、方法論の厳密さの評価、再現性の重要性、LLM使用時の結果の妥当性に焦点を当てます。提出された研究におけるLLMの適用性を評価するための実践的なアドバイスを提供し、方法論的報告の透明性の必要性とこれらのモデルの非決定論的かつ進化し続ける性質による課題を強調します。本ガイドは、批判的レビューのためのフレームワークを提供することで、LLMを利用した心理学研究の進化する風景の中で、高品質かつ革新的な研究を確保することを目的としています。