정형화된 임상 의사결정 지원 시스템의 성능 메트릭, 예를 들어 정확도나 민감도는 높은 위험 환경에서 활동하는 임상 의사의 중요한 우려 사항인 개별 예측의 신뢰성을 반영하지 못합니다. 우리는 두 가지 새로운 메트릭인 지역 예측 값(Local Predictive Value, LPV)과 신뢰성 예측 값(Credible Predictive Value, CPV)을 특징으로 하는 보정 정보 기반 프레임워크를 소개합니다. LPV는 신뢰 점수의 이웃에서 관찰된 정확성 빈도를 평가하여 예측의 경험적 신뢰성을 추정합니다. CPV는 베이지안 접근법을 사용하여 이 추정치를 세분화하고, 전역 예측 값을 사전으로 통합하여 정확성 확률에 대한 사후 분포를 생성합니다. LPV는 지역 신뢰성에 대한 기술적이고 데이터 기반의 관점을 제공하는 반면, CPV는 희소한 지역 데이터에 대한 과적합을 완화하는 신념 조정 추정치를 제공합니다. 의료 이미징 데이터셋에 적용된 이 메트릭은 지역에 적응 가능한 해석 가능한 신뢰성 추정치를 산출하였습니다. LPV와 CPV 간의 차이는 지역 증거가 부족하거나 오도되는 경우를 식별하여, 베이지안 스무딩이 희소하거나 잘못된 지역 증거에 대한 안정성을 개선하는 방법을 강조합니다. 지역 보정을 베이지안 추론과 결합함으로써, LPV와 CPV는 정확할 뿐만 아니라 개별 사례 수준에서 해석 가능하고 신뢰할 수 있는 의료 AI 시스템의 개발을 진전시킵니다.
페데리코 카비자(Federico Cabitza) (금요일) 이 질문을 연구했습니다.