ChatGPTは科学的なピアレビューにおける性別格差を特定する

ピアレビューのプロセスは、科学研究の質を確保するための重要なステップです。しかし、その主観性は懸念を引き起こしています。この問題を調査するために、2022年から2023年に発表された200件の神経科学論文から500件以上の公開されているピアレビュー報告を調査しました。OpenAIの生成型人工知能ChatGPTを使用して、これらの報告書における言語の使用を分析しました。これは、従来の語彙およびルールベースの言語モデルと比較して優れた性能を示しました。予想通り、これらの発表された論文の大多数のレビューは、ChatGPTによって好意的に見なされ（89.8％のレビュー）、言語の使用は主に礼儀正しかった（99.8％のレビュー）です。しかし、この分析はまた、同じ論文に対して各レビュアーが点数をつけた際のばらつきが高いことを示しており、ピアレビューのプロセスにおける主観性の存在を示しています。結果はさらに、女性の第一著者が男性の同僚よりも礼儀正しさに欠けるレビューを受けたことを明らかにし、レビューにおける性別バイアスを示しています。加えて、女性の上級著者を持つ発表論文は男性の上級著者を持つ論文よりも好意的なレビューを受け、その原因の可能性について考察します。この研究は、専門的な科学文献の自然言語処理における生成型人工知能の可能性を強調しています。概念実証として、ChatGPTが科学的なピアレビューにおける懸念のある領域を特定できることを示し、科学出版における公平性を研究する上での透明なピアレビューの重要性を強調します。