단안 깊이 추정 및 3D 객체 탐지를 위한 심층 광학

깊이 추정 및 3D 객체 탐지는 장면 이해에 필수적이지만, 이미지 캡처 중 3D 정보 손실로 인해 단일 이미지로 수행하기 어려운 문제입니다. 최근 심층 신경망을 사용하는 모델은 단안 깊이 추정 성능을 향상시켰지만, 여전히 절대 깊이를 예측하고 표준 데이터셋 외부에서 일반화하는 데 어려움이 있습니다. 여기서는 코드화된 초점 흐림을 추가 깊이 단서로 사용하여 신경망에 의해 해독되는 단안 깊이 추정 문제에 대해 광학 및 이미지 처리를 엔드 투 엔드로 설계하는 심층 광학 패러다임을 소개합니다. 우리는 NYU Depth v2 및 KITTI를 포함한 세 가지 데이터셋에서 깊이 추정을 위한 엔드 투 엔드 최적화 계획과 함께 여러 광학 코딩 전략을 평가합니다. 최적화된 자유형 렌즈 설계가 가장 좋은 결과를 낳지만, 단일 렌즈의 색수차 또한 성능을 상당히 향상시킵니다. 우리는 물리적 프로토타입을 구축하고 색수차가 실제 결과에서 깊이 추정을 개선한다는 것을 검증합니다. 또한, KITTI 데이터셋에서 객체 탐지 네트워크를 훈련시키고 깊이 추정을 위해 최적화된 렌즈가 3D 객체 탐지 성능 또한 개선된다는 것을 보여줍니다.