人类与人工智能协作还是学术不端？通过风格特征证据测量人工智能在学生写作中的使用

随着人类与人工智能的协作在教育背景中日益普遍，理解和测量这种互动的程度和性质面临重大挑战。本研究调查了作者验证（AV）技术的使用，这不是一种惩罚措施，而是量化人工智能在学术写作中辅助作用的一种手段，重点在于促进透明性、可解释性和学生发展。在之前研究的基础上，我们将调查分为三个阶段：数据集选择与扩展、AV方法开发和系统评估。我们使用三个数据集——包括一个公共数据集（PAN-14）和两个来自墨尔本大学不同课程的学生的数据——将数据扩展至包含由LLM生成的文本，共计1,889个文档和来自506位学生的540个作者身份问题。我们开发了一种改进的特征向量差异AV方法，以构建学生的稳健学术写作档案，旨在捕捉他们写作的有意义的个性特征。该方法的有效性在多种情境下进行了评估，包括区分学生作者和LLM生成的文本，并测试抵御LLM尝试模仿学生写作风格的能力。结果表明，增强的AV分类器能够识别风格特征的差异，并在词和句子层面测量人类与人工智能的协作，同时为教育工作者提供了支持学术诚信调查的透明工具。这项工作推动了AV技术的发展，为在人工智能驱动的时代学术写作的动态提供了可行的见解。