3D 포인트 클라우드에서 장면 흐름의 계층적 주의 학습

장면 흐름은 동적 환경에서 모든 점의 3D 움직임을 나타냅니다. 2D 이미지에서 픽셀의 움직임을 나타내는 광학 흐름과 마찬가지로, 장면 흐름의 3D 움직임 표현은 자율 주행 및 서비스 로봇과 같은 다양한 응용 분야에 유리합니다. 본 논문에서는 두 개의 연속적인 3D 포인트 클라우드에서 장면 흐름 추정 문제를 연구합니다. 본 논문에서는 인접 프레임의 포인트 특징 간의 상관관계를 학습하고 장면 흐름을 레이어별로 조정하여 정교하게 만드는 이중 주의 구조의 새로운 계층적 신경망을 제안합니다. 제안된 네트워크는 새로운 더 많을수록 덜 효율적인 계층 구조를 가지고 있습니다. 더 많을수록 덜 효율적이라는 것은 장면 흐름 추정을 위한 입력 점의 수가 출력 점의 수보다 많다는 것을 의미하며, 이는 더 많은 입력 정보를 제공하고 정밀도와 자원 소비의 균형을 이룹니다. 이 계층 구조에서는 서로 다른 수준의 장면 흐름이 각각 생성되고 감독됩니다. 인접 점의 특징을 패치 간 방식으로 이중 주의 방법을 사용하여 집계하는 새로운 주의 임베딩 모듈이 도입됩니다. 흐름 임베딩 및 흐름 감독을 위한 적절한 레이어가 우리의 네트워크 설계에서 신중하게 고려됩니다. 실험 결과에 따르면 제안된 네트워크는 FlyingThings3D 및 KITTI Scene Flow 2015 데이터 세트에서 3D 장면 흐름 추정의 최첨단 성능을 초월합니다. 또한 자율 주행에 중요한 문제인 현실적인 LiDAR 오도메트리 작업에 제안된 네트워크를 적용합니다. 실험 결과는 제안된 네트워크가 ICP 기반 방법을 초월할 수 있으며 좋은 실제 응용 능력을 보여줌을 입증합니다. 소스 코드는 https://github.com/IRMVLab/HALFlow에서 공개될 예정입니다.