AI 생성 에세이 감지: ChatGPT 도전

목적 ChatGPT라는 정교한 생성 인공지능(AI) 도구의 출현으로 모든 교육 환경에서 학문적 정직성을 유지하는 것이 최근 교육자들에게 도전이 되었습니다. 이 논문은 이 도전에 맞서기 위한 방법과 필요한 전략에 대해 논의합니다. 설계/방법론/접근 방식 본 연구에서는 ChatGPT가 생성한 에세이를 인간이 작성한 에세이와 구별하는 데 높은 정확도를 달성하기 위해 언어 모델을 정의하였으며, 특히 '진짜 인간이 작성한 에세이를 AI 생성으로 잘못 분류하지 않는 것'에 초점을 맞추었습니다(부정). 발견 사항 지원 벡터 기계(SVM) 알고리즘을 통해 인간이 생성한 에세이를 100% 정확도로 식별할 수 있었습니다. 저자는 분류 성능 측정을 위한 Recall과 F2 점수의 핵심 사용과, 잘못 분류된 False Negatives를 제거하고 실제 인간이 생성한 에세이가 AI 생성으로 잘못 분류되지 않도록 하는 것의 중요성에 대해 논의했습니다. 제안된 모델의 분류 알고리즘 결과는 OpenAI, GPTZero 및 Copyleaks에서 개발한 AI 생성 텍스트 감지 소프트웨어의 결과와 비교되었습니다. 실용적인 함의 제안된 언어 모델과 기계 학습(ML) 분류기를 사용하여 교사와 교육 설계자는 학생들이 제출한 AI 생성 에세이를 높은 정확도로 감지할 수 있습니다. 인간(학생) 생성 에세이는 전체 분류 정확도가 약간 감소하더라도 100% 정확도로 올바르게 식별되어야 하고 식별될 수 있습니다. 독창성/가치 n-그램 가방-단어(BOWs) 불일치 언어 모델을 분류기의 입력으로 사용하여 이러한 예측을 한 첫 번째 및 유일한 연구이며, 다른 AI 생성 텍스트 감지 소프트웨어의 분류 결과를 경험적으로 비교했습니다.