최소 침습 절차는 로봇 복강경 수술에 의해 빠르게 발전했습니다. 후자는 외과 의사가 정교하고 정확한 수술을 진행하는 데 큰 도움을 주며 침습성을 줄입니다. 그럼에도 불구하고 기구-조직 상호 작용 중 조직 변형을 인식하는 것은 여전히 안전에 매우 중요합니다, 특히 3D 공간에서. 이를 해결하기 위해 최근 작업들은 NeRF를 활용하여 다양한 시점에서 2D 비디오를 렌더링하고 차폐를 제거합니다. 그러나 대부분의 방법들은 정확한 3D 형태와 관련된 변형 추정을 강건하게 예측하는 데 실패합니다. 달리하여, 우리는 3D 메쉬와 3D 조직 변형을 동시에 재구성하는 새로운 프레임워크인 추적 인식 변형 필드(TADF)를 제안합니다. 우선 기초 비전 모델을 통해 연조직의 키포인트를 추적하여 정확한 2D 변형 필드를 제공합니다. 그런 다음, 2D 변형 필드는 신경 암묵 재구성 네트워크와 부드럽게 결합되어 3D 공간에서 조직 변형을 얻습니다. 마지막으로, 우리는 제안된 방법이 두 개의 공개 데이터셋에서 다른 3D 신경 재구성 방법과 비교하여 더 정확한 변형 추정을 제공함을 실험적으로 입증합니다.
Wang et al. (Tue,)는 이 질문을 연구했습니다.