Key points are not available for this paper at this time.
우리는 전통적인 공간 피라미드 공식과 심층 학습을 결합하여 광학 흐름을 계산하는 방법을 배웁니다. 이는 현재의 흐름 추정에 따라 쌍 중 하나의 이미지를 각 피라미드 레벨에서 변형하여 대략적인 접근 방식으로 큰 움직임을 추정하고 흐름을 업데이트합니다. 각 피라미드 레벨에서 목표 함수의 표준 최소화를 대신해, 우리는 흐름 업데이트를 계산하기 위해 레벨당 하나의 심층 네트워크를 훈련합니다. 최근의 FlowNet 접근법과는 달리, 네트워크는 큰 움직임을 처리할 필요가 없으며, 이는 피라미드에 의해 처리됩니다. 이에는 여러 가지 장점이 있습니다. 첫째, 우리의 공간 피라미드 네트워크(SPyNet)는 모델 매개변수 측면에서 FlowNet보다 훨씬 간단하고 96% 작은 크기입니다. 이는 임베디드 애플리케이션에 대해 더 효율적이고 적합하게 만듭니다. 둘째, 각 피라미드 레벨에서 흐름이 작기 때문에(< 1 픽셀), 변형된 이미지 쌍에 적용되는 컨볼루션 접근법이 적합합니다. 셋째, FlowNet과 달리, 학습된 컨볼루션 필터는 고전적 시공간 필터와 유사하게 나타나며, 방법 및 개선 방법에 대한 통찰을 제공합니다. 우리의 결과는 대부분의 표준 벤치마크에서 FlowNet보다 더 정확하며, 이는 전통적 흐름 방법과 심층 학습을 결합하는 새로운 방향을 제시합니다.
Ranjan et al. (Sat,)는 이 질문을 연구했습니다.