중간 흐름 추정은 비디오 프레임 보간(VFI)의 중요한 부분입니다. 대부분의 이전 연구는 국소적으로 선형 운동을 가정하여 중간 흐름을 도출하기 위해 보간을 사용합니다. 그러나 이 방법은 극단적인 운동을 처리할 때 효과적이지 않습니다. 본 연구에서는 객체의 운동 궤적이 이 객체의 외관 특성에 의해 결정된다고 가정합니다. 이 가정을 바탕으로, 우리는 이미지 외관과 프레임 간 운동 특징으로부터 중간 프레임의 운동 특징을 얻는 새로운 중간 흐름 추정 방법을 제안합니다. 또한, 프레임 간 특징을 완전히 추출하기 위해, Swin-Transformer를 사용한 VFI와 이전 작업의 차이를 새롭게 생각하고, 윈도우를 순환적으로 이동시켜 적응형 이웃 내에서 외관 특징과 운동 특징을 계산합니다. 실험 결과는 우리 방법이 고정 시간 및 임의 시간 보간에 대해 다양한 데이터셋에서 최첨단 성능을 달성함을 보여줍니다. 더 나아가, 제안된 방법은 극단적으로 큰 움직임이 있는 비디오를 처리할 때 네 개의 프레임 시퀀스를 입력해야 하는 모델보다 더 우수한 성능을 발휘합니다. 소스 코드는 https://github.com/chen12304/IFE-VFI 에서 확인할 수 있습니다.
Chen et al. (Thu,) 이 질문을 연구했습니다.