Assessing the Cognitive and Content Validity of the Driver Licensing Knowledge Test: An LLM-Based Approach

운전면허 학과시험은 안전한 교통문화를 형성하고 우수한 신규 운전자를 양성하기 위한 핵심 평가 제도이지만, 실제 운전 수행에서 요구되는 인지적 판단과 사고 과정을 충분히 반영하지 못한다는 지적이 지속되어 왔다. 기존 연구들은 주로 시험의 합격률이나 난이도와 같은 거시적 지표, 혹은 문항의 언어적 편향성에 초점을 맞추었으나, 문항이 요구하는 인지 수준과 응시자 성취 간의 구조적 관계를 실증적으로 규명하지는 못했다는 한계를 가진다. 이에 본 연구는 989개의 운전면허 학과시험 문제은행 문항을 LLM 기반 자동 분류와 전문가 검증을 결합하여 SOLO(Structure of Observed Learning Outcomes) 분류체계와 운전 역량 내용 영역에 따라 문항의 인지·내용 구조를 계적으로 분류하고, 정답률을 활용해 수행 차이를 분석하였다. 분석 결과, 전체 문항의 과반이 다구조 수준에 집중되고 확장된 추상 문항은 극히 적어 고차 사고 요구가 제한적이었다. 내용 영역 역시 법규·표지·신호 중심으로 편중되어 위험인지·상황판단 문항의 비중이 낮았다. 정답률은 관계적 문항에서 가장 높게 나타나 일부 문항이 의도된 사고 과정보다는 안전지향적 직관에 의해 풀릴 가능성이 확인되었다. ANOVA 분석 결과, 인지 수준과 내용 영역에 따른 수행 차이는 유의하였으며, Cohen’s h 분석에서는 단순 지식형 문항에서는 세대 간 차이가 거의 없었으나, 관계적 사고와 위험인지·상황판단 영역에서는 고령층의 수행 저하가 두드러졌다. 이러한 결과는 일부 인지 수준과 내용 영역에서 연령 증가에 따른 인지 수행 차이가 분석을 통해 확인되었음에도 불구하고, 문항 구성이 특정 인지 수준과 내용 영역에 편중됨으로써 실제 운전 수행에 요구되는 복합적 사고력과 위험 인지 능력을 전반적으로 평가하기에는 구조적 한계를 지니고 있음을 시사한다. 따라서 향후에는 연령별 인지 특성을 반영한 평가체계의 개선과 더불어, 적절한 난이도의 고차 인지 능력을 요구하는 문항의 확대가 필요함을 시사한다.