대화 학습 시스템은 채팅 로그 데이터를 통해 학습 과정을 조사할 수 있는 새로운 기회를 제공합니다. 지속성, 자기 효능감, 흥미, 인식된 도전, 사전 지식과 같은 구성 요소는 학생 성과의 예측 변수로 알려져 있지만 전통적인 방법으로 대규모로 감지하기는 어렵습니다. 본 연구에서는 중학교 수학을 위한 대화 기반 평가(CBA)에서 수집된 학생 채팅 로그에서 이러한 구성 요소의 지표를 자동으로 코딩하기 위해 대형 언어 모델(LLM)의 사용을 탐구합니다. 지표에는 학생들이 대화 상호작용 내에서 나타내는 도전, 도움 요청, 목표 설정, 자기 규제 전략과 같은 관찰 가능한 행동이 포함됩니다. 우리는 ChatGPT4o의 다양한 구성(온도 설정 [0, 0.3, 0.7, 1] 및 모델 유형 [미니 대 규칙])을 인간 전문가 코더와 비교하여 평가했습니다. 데이터셋은 CBA와 상호 작용하는 영어 학습자로 분류된 107명의 중학생으로부터 수집된 10,000회 이상의 학생 발화를 포함했습니다. 신뢰성은 LLM 구성 간 및 인간 사이에서 평가되었습니다. 결과는 체계적인 패턴을 보여줍니다: 이론적 일관성이 중간 정도인 구성 요소는 높은 온도의 이점을 보였으며, 잘 정의된 구성 요소는 결정론적 설정이 필요했습니다. 자기 효능감은 인간과 LLM 간의 가장 높은 일치를 보였습니다. 이러한 연구 결과는 복잡한 심리적 구성 요소를 측정하는 데 있어 있는 어려움을 보여주고, 교육 연구에서 질적 코딩의 효율성과 타당성을 향상시키기 위한 인간-LLM 협업의 가능성을 강조합니다. 추가 자료는 온라인에서 여기에서 확인할 수 있습니다: https://doi.org/10.17605/osf.io/s85ck.
Ober et al. (화요일) 이 질문을 연구했습니다.