딥 강화 학습이 의료 분야의 실제 응용을 위한 준비가 되었는가? 패혈증 환자의 혈역학적 관리를 위한 Duel-DDQN의 민감도 분석

강화 학습(RL)의 잠재성은 바둑과 아타리와 같은 게임에 성공적으로 응용된 사례를 통해 입증되었습니다. 그러나 게임 환경에서 RL 알고리즘의 성능을 단순히 게임을 플레이하는 것으로 평가하는 것은 수월하지만, 임상 환경에서는 RL 정책을 실제로 따르는 것이 안전하지 않을 수 있어 평가가 주요 도전 과제가 됩니다. 따라서 RL 정책의 구현 중 이루어진 결정들에 대한 민감성을 이해하는 것은 궁극적인 임상 수용을 위한 RL에 대한 신뢰를 구축하는 중요한 단계입니다. 본 연구에서는 ICU에서 패혈증 환자를 위한 혈역학적 안정화 치료 전략에 적용된 최첨단 RL 알고리즘(듀얼 더블 딥 Q-네트워크)에 대한 민감도 분석을 수행합니다. 학습된 정책의 민감성을 입력 피쳐, 임베딩 모델 아키텍처, 시간 이산화, 보상 함수 및 무작위 시드에 대해 고려합니다. 이러한 설정을 변경하면 학습된 정책에 상당한 영향을 미칠 수 있다는 것을 발견하였고, 이는 RL 에이전트 출력 해석 시 주의를 기울여야 함을 시사합니다.