Key points are not available for this paper at this time.
ChatGPT의 광범위한 활용을 고려할 때, 우리는 응급의학 전문 서면 시험에서의 능력을 평가하는 것을 목표로 합니다. 또한 GPT-3.5, GPT-4, 맞춤형 GPT 및 GPT-4o의 성능을 비교합니다. 이 연구는 맞춤형 GPT가 정확한 정보를 제공하는 데 필요한 필수 능력과 지식 기반에 대한 접근을 가지고 있는지 확인하고, 의학 레지던트 교육을 지원하는 개인화된 지식 기반의 효과성과 잠재력을 탐구하고자 합니다. 우리는 대만의 응급의학 전문의 시험에서 ChatGPT-3.5, GPT-4, 맞춤형 GPT 및 GPT-4o의 성능을 평가했습니다. 이 AI 모델들에게 200개의 단일 선택형 시험 문제가 제공되었고, 그들의 응답이 기록되었습니다. 네 모델 간의 정답률을 비교하고, McNemar 검정을 쌍 모델 데이터를 통해 적용하여 성능의 유의미한 변화를 확인했습니다. 200문제 중 GPT-3.5는 77문제, GPT-4는 105문제, 맞춤형 GPT는 119문제, GPT-4o는 138문제를 올바르게 답했습니다. GPT-4o는 가장 높은 성능을 보였으며, 이는 GPT-4보다 유의미하게 뛰어나고, GPT-4는 GPT-3.5보다 우수했으며, 맞춤형 GPT는 GPT-4보다 우수하지만 GPT-4o보다 열악한 성능을 보였습니다(p < 0.05). 응급의학 전문 서면 시험에서 우리의 발견은 대형 언어 모델(LLMs)의 가치와 잠재력을 강조하고, 질문 유형 및 이미지 포함 능력에서의 강점과 한계를 부각시킵니다. GPT-4o 및 맞춤형 GPT는 시험 준비를 용이하게 할 뿐만 아니라 응답의 증거 수준과 출처 정확성을 높여 의료 교육 체계와 임상 관행을 변혁할 상당한 잠재력을 보여줍니다.
Liu et al. (Fri,)은 이 질문을 연구했습니다.