学術原稿の査読ナラティブからメタレビュー草稿を作成するようLLMsに促す

学術的な査読プロセスにおいて最も重要でありながら厄介なタスクの一つは、メタレビューを作成することであり、これは複数の専門家からの査読ナラティブに基づいて学術原稿の核心的な貢献、強み、弱みを理解し、その複数の専門家の視点を簡潔で包括的な概要にまとめることを含みます。生成的AI、特に大規模言語モデル（LLMs）の最新の主要な発展を考慮すると、学術的な査読環境におけるこのようなメタレビューを生成するためのLLMsの有用性を厳密に研究することは非常に魅力的です。本稿では、GPT-3.5、LLaMA2、PaLM2という3つの人気のあるLLMsを用いたケーススタディを行い、最近提案されたTELeR分類法に基づいて異なるタイプ/レベルのプロンプトでそれらを促して自動的にメタレビューを生成します。最後に、LLMsによって生成されたメタレビューの詳細な質的研究を行い、この複雑なタスクに対するLLMsを促すための当社の発見と推奨をまとめます。