간헐적 공압 압축을 사용하여 하체 혈류를 극대화하기 위한 심층 강화 학습의 적용

간헐적 공압 압축(IPC) 시스템은 하체에 외부 압력을 가하고 말초 혈류를 증가시킵니다. 우리는 이전에 앉아 있는 및 서 있는 피험자들에 대해 고정 압축 타이밍(CT)과 비교하여 하체에서 동맥 혈류 속도(BV)를 증가시키는 심장 게이티드 압축 시스템을 소개했습니다. 그러나 이러한 파일럿 연구 결과, BV를 극대화하는 CT는 개인마다 일정하지 않았으며 시간이 지남에 따라 변할 수 있음을 발견했습니다. 현재 IPC에 대한 CT 모델링 방법은 하루와 하나의 심박동을 앞서 예측하는 것으로 제한되어 있습니다. 그러나 IPC 치료는 몇 주 또는 그 이상 지속될 수 있으며, 압축에 대한 BV 반응은 생리적 상태에 따라 다를 수 있고, 원하는 생리적 결과를 이끌어내기 위한 최상의 CT는 같은 개인에게도 변경될 수 있습니다. 우리는 심층 강화 학습(DRL) 알고리즘이 IPC를 사용하여 선택한 결과를 달성하기 위해 CT를 학습하고 적응적으로 수정할 수 있다고 제안합니다. 여기서는 하체 동맥 BV를 원하는 결과로 설정하고 6명의 참여자에 대한 참여자 맞춤형 시뮬레이션 하체 환경을 구축합니다. 우리는 DRL이 동맥 BV를 극대화하기 위한 IPC CT를 적응적으로 학습할 수 있음을 보입니다. 이전 작업과 비교하여, DRL 에이전트는 결과 혈류의 98% ± 2를 달성하고 BV를 극대화하는 데 더 빠릅니다; DRL 에이전트는 평균 15분 ± 2 만에 '최적' 정책을 학습할 수 있으며 즉석에서 적응할 수 있습니다. 원하는 목표를 고려할 때, 우리는 제안된 DRL 에이전트가 인간이 포함된 환경에서 빠르게 (시간에 따라 변동할 수 있는) '최적' CT를 학습할 수 있도록 IPC 시스템에 구현될 수 있다고 가정합니다.