3D 모델로부터 깊은 객체 탐지기 학습하기

크라우드소싱된 3D CAD 모델이 온라인에서 쉽게 접근 가능해지고 있으며, 거의 모든 객체 범주에 대해 무한한 수의 훈련 이미지를 생성할 수 있습니다. 우리는 현대의 심층 컨볼루션 신경망(DCNN) 모델의 훈련 데이터를 이러한 합성 데이터로 증강하는 것이 효과적일 수 있음을 보여줍니다. 특히 실제 훈련 데이터가 제한적이거나 목표 도메인에 잘 맞지 않을 경우 더욱 그렇습니다. 대부분의 무료 CAD 모델은 3D 형태를 포착하지만, 현실적인 객체 질감, 자세, 또는 배경과 같은 다른 저수준 단서가 종종 누락되어 있습니다. 상세한 분석에서, 우리는 DCNN이 이러한 단서 없이 학습할 수 있는 능력을 조사하기 위해 합성 CAD 렌더링 이미지를 사용하며, 놀라운 발견을 하였습니다. 특히, DCNN이 목표 탐지 작업에 대해 미세 조정될 때, 저수준 단서가 누락된 경우에도 큰 정도의 불변성을 보이지만, 일반적인 ImageNet 분류에 대해 미리 훈련될 때는 저수준 단서가 시뮬레이션될 경우 더 나은 학습 성과를 보입니다. 우리는 우리의 합성 DCNN 훈련 접근 방식이 PASCAL VOC2007 데이터셋에서 몇 번의 샷 시나리오로 학습할 때 이전 방법보다显著하게 우수한 성과를 보이며, Office 벤치마크에서 도메인 이동 시나리오에서 성능을 향상시킨다는 것을 보여줍니다.