アカデミックライティングにおける生成AIの存在を測定する：コーパス規模のスタイルメトリック分析に関するパイロットスタディ

生成AIのアカデミックライティングへの存在と影響を総合的に理解するために新しい方法が必要です。利用可能なAI検出ツールは、特定の単語の列の可能性など、複雑で確率的な信号をチェックします。これらの方法は繰り返しの言い換えを通じて回避でき、総合的に実行するのはコストがかかります。私たちは代替アプローチを提案します：Flesch-Kincaid読みやすさ、受動態比率などの確立されたスタイルメトリックの分布の変化を追跡することです。2004年から2024年までの31,624件の公に利用可能な要約を分析したパイロットスタディでは、LLMの出現に一致する明確な傾向が見られます。これらのメトリックを示すことで、大規模なアカデミックライティングにおけるAIの体系的な使用を検出するための軽量で説明可能な手段を提供できることを示しています。この論文では、アカデミックな環境における一般的な文書の変化を追跡するための実行可能性を判断するために、これらのメトリックと傾向を詳細に説明します。