신경학 의료의 발전하는 분야에서, 딥 러닝 기술은 진단 정확성을 향상시킬 수 있는 잠재력으로 인정받고 있습니다. 변환기 기반 모델, 특히 OpenBioLLM과 같은 대형 언어 모델(LLM)은 신경학적 평가에서 일반적인 대규모 데이터 세트를 처리하는 데 가능성을 보여줍니다. 본 연구는 신경학적 질환의 영역에서 OpenBioLLM의 진단 능력을 평가합니다. 이 연구의 주요 목적은 복잡한 신경학 사례 연구에 적용했을 때 OpenBioLLM의 진단 정확성, 포괄성, 보충성 및 유창성을 평가하는 것입니다. “Clinical Cases in Neurology”에서 25개의 복잡한 신경학 사례를 선택했습니다. 각 사례에 대한 진단 및 설명 논리를 생성하기 위해 OpenBioLLM을 사용했습니다. 두 명의 독립적인 의사가 정확성, 포괄성, 보충성 및 유창성을 기준으로 응답을 평가하였으며, 불일치는 제3의 평가자가 해결했습니다. 통계 분석에는 일원 배치 분산 분석, Bartlett의 검정 및 Spearman의 순위 상관관계가 포함되었습니다. OpenBioLLM은 평균 정확성 점수 38%, 포괄성 점수 52%, 보충성 점수 24%, 유창성 점수 100%를 달성했습니다. 이 모델은 신경학적 병변을 지역화할 수 있었지만, 올바른 병리생리학적 원인을 식별하는 데 어려움을 겪었습니다. 정확성 점수는 신경학적 질환 유형에 따라 유의미하게 달라지지 않았습니다. OpenBioLLM은 신경학적 조건 진단에서 잠재력을 보이지만, 성과 지표는 아직 신뢰할 수 있는 독립적인 도구는 아님을 시사합니다. 향후 연구는 모델을 미세 조정하고, 진단 정확성을 향상시키기 위해 추론 능력을 개선하는 데 집중해야 합니다.
Habibi 외 (Thu,)는 이 질문을 연구했습니다.