ChatGPT‐3.5 및 ‐4.0은 흔한 정형외과 상지 및 하지 질환에 대해 읽기 쉬운 환자 교육 자료를 안정적으로 생성하지 못함

목적: ChatGPT‐3.5 및 ‐4.0이 흔한 정형외과 상지 및 하지 질환 환자를 위한 읽기 쉬운 환자 교육 자료를 제작하는 실행 가능한 도구로 활용될 수 있는지 조사하고자 한다. 방법: ChatGPT 버전 3.5와 4.0을 사용하여, 50가지 흔한 정형외과 상지 질환 및 50가지 흔한 정형외과 하지 질환에 대한 환자 교육과 관련된 일련의 2가지 질문을 인공지능 프로그램에 질의했다. 모든 질환에 대해 2개의 정형화된 템플릿 질문을 만들어 사용했다. 가독성 점수는 Python 라이브러리인 Textstat을 사용하여 산출했다. 다수의 가독성 검사 점수를 생성하였으며, 8가지 읽기 검사 결과를 고려하여 종합적인 합의 읽기 수준을 도출했다. 결과: ChatGPT‐3.5는 적절한 읽기 수준의 응답을 상지 질환에서 2%, 하지 질환에서 4%만 생성한 반면, ChatGPT‐4.0은 상지 및 하지 질환 모두에서 54%를 생성했다(모두 P < .0001). 프라이밍 단계 이후, ChatGPT‐3.5는 상지 또는 하지 질환 모두에서 실행 가능한 응답을 전혀 생성하지 못한 반면, ChatGPT‐4.0은 상지 및 하지 질환 모두에서 64%를 생성했다(모두 P < .0001). 또한 ChatGPT‐4.0은 Automated Readability index, Coleman‐Liau index, Dale‐Chall formula, Flesch‐Kincaid grade, Flesch Reading Ease score, Gunning Fog score, Linsear Write Formula score, Simple Measure of Gobbledygook index를 포함하여 읽기 수준에 대해 사용 가능한 모든 지표를 기준으로 프라이밍 단계 전후 모두에서 ChatGPT‐3.5보다 유효한 응답을 생성하는 데 더 성공적이었다(모두 P < .001). 결론: 본 연구 결과는 연구 시점에서 ChatGPT‐3.5 및 ‐4.0이 흔한 정형외과 상지 및 하지 질환에 대해 읽기 쉬운 환자 교육 자료를 안정적으로 생성하지 못했음을 나타낸다. 임상적 관련성: 본 연구의 결과는 버전 3.5에서 버전 4.0으로의 발전을 통해 입증되었듯이 ChatGPT가 지속적으로 개선되고는 있지만, 현시점에서는 전통적인 환자 교육 방식을 대체해서는 안 되며 현재 상태에서는 의료진의 재량에 따라 보조 자료로 활용될 수 있음을 시사한다.