기본 절차 요소의 외과 기술 평가를 위한 해석 가능한 전체 스트림 비디오 기반 심층 학습 프레임워크

배경: 전문가 외과의사가 수술실에서 수행하는 기존의 외과 기술 평가는 종종 시간이 많이 소요되고 주관적입니다. 외과의의 전문성 수준(초보, 중급 및 전문가)을 구별하고 피드백을 제공할 수 있는 자동화되고 객관적인 시스템은 외과 훈련을 크게 향상시킬 것입니다. 그러나 대부분의 기존 자동화 프레임워크는 해석 가능성보다 심층 학습 성능을 우선시합니다. 재료 및 방법: 우리는 3D 컨볼루션 신경망을 사용하여 기본적인 절차 요소의 비디오 기반 외과 기술 평가 프레임워크인 I3D-SAP를 제안합니다. 이 모델은 외과 비디오를 처리하고 외과의를 세 가지 전문성 수준으로 분류합니다. 봉합, 바늘 전달 및 매듭 묶기 작업을 평가하기 위해 공개 JIGSAWS 데이터 세트에서 실험이 수행되었습니다. 결과: 우리의 방법은 100%(봉합), 96.3%(바늘 전달), 97.2%(매듭 묶기)의 높은 정확도를 달성하였으며, 이는 최첨단 모델에 필적합니다. 우리의 프레임워크의 해석 가능성은 클래스 활성화 맵(CAM) 시각화 및 스니펫별 분석을 통해 입증되어 분류 결정을 설명하는 이중 관점을 제공합니다. 그러나 더 엄격한 사용자를 하나씩 제외하는(LOUO) 프로토콜 하의 평가에서 유의미한 성능 저하가 나타났고, 외부 데이터 세트(ROSMA)에서 테스트한 결과 근사 확률 수준의 정확도가 나와 현재 모델의 일반화 능력이 완전히 보지 않은 외과의에게는 제한적임을 나타냅니다. 결론: I3D-SAP는 높은 정확성 및 해석 가능성을 제공하여 기본적인 절차 요소에 대한 자동화된 외과 평가의 중요한 공백을 해결합니다. 모델 결정을 시각화함으로써 투명성과 신뢰성을 높여 외과 훈련에서의 실용적인 채택을 위한 길을 열어줍니다. 또한, 모델의 현재 일반화 문제는 더 크고 다양성 있는 데이터 세트 및 외과의에 불변한 특징 학습 기술이 포함된 future work를 통한 해결이 필요합니다.