진행성 암 환자에서 목표 치료 문서화를 대규모로 식별하기 위한 대규모 언어 모델의 활용 가능성 연구

목적: 본 연구의 목적은 (1) 대규모 언어 모델(LLM)을 사용하여 대량의 녹음 중 목표 치료(GOC) 대화를 식별하고, (2) 새로운 요약 작업을 위한 LLM의 잠재력을 탐색하는 것이었습니다. 방법: 우리는 2024년 4월 1일부터 2024년 6월 30일 사이에 진행성 암으로 진단된 환자를 포함했습니다. GOC에 대한 검증된 LLM 프롬프트를 전자 건강 기록(EHR)에 적용하였으며, OpenAI에서 개발한 안전한 GPT-4o의 건강 보험 이동성 및 책임 법(HIPPA) 버전을 사용하였습니다. 출력에는 (1) GOC 문서화의 존재 유무, (2) LLM의 결정을 알리는 데 사용된 출처 텍스트와 함께 한 설명, (3) EHR의 텍스트와 완벽하게 일치하지 않는 LLM이 생성한 출처 텍스트 비율을 나타내는 환각 지수 포함되었으며, 두 가지 LLM 프롬프트가 구조화된 및 비구조화된 GOC 요약을 생성하도록 설계되었습니다. 우리는 임의로 다섯 환자를 선택하고 GOC가 포함되어 있다고 LLM이 표시한 기록에 요약 작업을 적용했습니다. 우리는 관련 정보를 검토하기 위해 LLM 요약을 검토했습니다. 결과: 1,400개의 임상 기록과 관련된 326명 환자 중 LLM은 약 40%의 기록에 대해 GOC 문서화로 플래그를 지정했습니다. 후속 설명 텍스트 검토를 통해 128명의 환자(전체 환자 수의 거의 40%)에 GOC 문서화가 있음을 확인했습니다. 설명에 대한 환각 지수는 낮아 LLM이 EHR에서 발견되지 않은 텍스트를 생성하지 않았음을 시사합니다. LLM 프롬프트는 환자당 2분 이내에 정확한 요약을 생성했습니다. 결론: LLM은 대규모로 GOC를 포착하고 임상에서 유용한 요약을 생성할 수 있습니다. 향후 방향은 임상 환경에서 실시간 구현을 포함합니다.