의미 분할을 위한 완전 컨볼루션 네트워크

컨볼루션 네트워크는 기능의 계층 구조를 생성하는 강력한 시각 모델입니다. 우리는 컨볼루션 네트워크가 자체적으로, 엔드 투 엔드, 픽셀 대 픽셀로 훈련되었을 때 의미 분할에서 이전의 최고 결과를 개선한다는 것을 보여줍니다. 우리의 핵심 통찰력은 임의의 크기의 입력을 받아 대응하는 크기의 출력을 생성하는 "완전 컨볼루션" 네트워크를 구축하는 것입니다. 우리는 완전 컨볼루션 네트워크의 공간을 정의하고 설명하며, 공간적으로 밀집한 예측 작업에 대한 그들의 응용을 설명하고, 이전 모델과의 연결을 만듭니다. 우리는 현대의 분류 네트워크(AlexNet, VGG 네트워크 및 GoogLeNet)를 완전 컨볼루션 네트워크로 변환하고, 분할 작업에 맞게 미세 조정하여 학습된 표현을 전이합니다. 그런 다음, 우리는 깊고 거친 레이어의 의미 정보와 얕고 세밀한 레이어의 외관 정보를 결합하여 정확하고 상세한 분할을 생성하는 스킵 아키텍처를 정의합니다. 우리의 완전 컨볼루션 네트워크는 PASCAL VOC(2012에서 평균 IU가 67.2%로 30%의 상대적 개선), NYUDv2, SIFT Flow 및 PASCAL-Context에서 개선된 분할을 달성하며, 일반적인 이미지에 대한 추론은 1초의 10분의 1이 소요됩니다.