EventMamba: 상태 공간 모델을 통한 이벤트 기반 비디오 재구성을 위한 시공간 지역성 향상

강력한 선형 글로벌 모델링 기능을 활용하여, Mamba는 컴퓨터 비전 분야에서 두각을 나타냈습니다. 그럼에도 불구하고 기존의 Mamba 기반 비전 모델은 이벤트 중심 작업, 특히 비디오 재구성의 미세한 차이를 간과해왔습니다. 이벤트 기반 비디오 재구성(EBVR)은 시공간 도메인에서 공간 변환 불변성과 지역 이벤트 관계에 대한 세심한 주의를 요구합니다. 불행히도, 기존의 Mamba 알고리즘은 정적 창 분할과 표준 재구성 스캔 방법을 적용하여 지역 연결성에서 상당한 손실을 초래합니다. 이러한 한계를 극복하기 위해, 우리는 EBVR 작업을 위해 설계된 특수 모델인 EventMamba를 소개합니다. EventMamba는 고정된 분할에서 벗어나 공간 도메인에서 무작위 창 오프셋(RWO)을 통합하여 혁신합니다. 또한, 이는 인접 이벤트의 가까움을 공간적 및 시간적 측면에서 유지하는 새로운 일관된 탐색 직렬화 접근 방식을 시공간 도메인에서 특징으로 합니다. 이러한 향상으로 EventMamba는 Mamba의 강력한 모델링 기능을 유지하면서 이벤트 데이터의 시공간 지역성을 상당히 보존할 수 있습니다. 여러 데이터셋에 대한 포괄적인 테스트 결과, EventMamba는 비디오 재구성을 현저하게 향상시키며, Transformer 기반 방법에 비해 계산 속도를 극적으로 개선하면서 우수한 시각적 품질을 제공합니다.