손 수술에서의 AI: 손 부상 분류 및 관리에서 대형 언어 모델 평가

배경: OpenAI의 ChatGPT(샌프란시스코, CA, 미국)와 구글의 Gemini(마운틴뷰, CA, 미국)는 손 수술에서의 의료 의사 결정을 개선하고 신속하게 진행하는 데 유망한 두 개의 대형 언어 모델입니다. 손 수술 분야 내에서 이러한 모델의 응용을 평가할 필요가 있습니다. 본 연구의 목적은 손 부상을 분류하고 치료를 추천하는 데 있어 ChatGPT-4와 Gemini를 평가하는 것입니다. 방법: Gemini와 ChatGPT는 손 부상에 대한 가상의 임상 상태 68개를 두 번 제공받았습니다. 모델에는 특정 분류 시스템을 사용하고 외과적 또는 비외과적 치료를 추천하도록 요청했습니다. 분류는 정확성에 기반하여 점수를 매겼습니다. 결과는 기술 통계, 짝지어진 양측 t-검정, 민감도 테스트를 사용하여 분석되었습니다. 결과: Gemini는 70.6%의 손 부상을 정확히 분류하여 ChatGPT에 비해 우수한 분류 능력을 보였습니다(평균 점수 1.46 대 0.87, p-value < 0.001). 관리 측면에서, ChatGPT는 Gemini에 비해 외과적 개입을 추천하는 데 더 높은 민감도를 보였으나(98.0% 대 88.8%), 낮은 특이도를 보였습니다(68.4% 대 94.7%). ChatGPT와 비교했을 때, Gemini는 더 큰 반응 복속성을 나타냈습니다. 결론: ChatGPT와 Gemini와 같은 대형 언어 모델은 손 수술에서 특히 의료 의사 결정 지원에 유망하며, Gemini가 일반적으로 ChatGPT를 초월하는 성과를 보였습니다. 이러한 결과는 임상 실습에 통합할 때 다양한 모델의 강점과 한계를 고려하는 것이 중요함을 강조합니다.