Inception-v4, Inception-ResNet 및 잔차 연결이 학습에 미치는 영향

매우 깊은 합성곱 신경망은 최근 몇 년 동안 이미지 인식 성능의 가장 큰 발전에 중심이 되어 왔습니다. 그 예로 Inception 구조가 있으며, 이는 비교적 낮은 계산 비용으로 매우 좋은 성능을 달성하는 것으로 보여졌습니다. 최근 잔차 연결을 보다 전통적인 구조와 결합하여 2015 ILSVRC 챌린지에서 최첨단 성능을 도출하였습니다; 그 성능은 최신 세대 Inception-v3 네트워크와 유사했습니다. 이는 질문을 제기합니다: Inception 구조와 잔차 연결을 결합하는 데 어떤 이점이 있을까요? 여기에서는 잔차 연결로 훈련할 경우 Inception 네트워크의 훈련이 상당히 가속화된다는 명확한 실증적 증거를 제시합니다. 또한 잔차 연결이 없는 비슷한 비용의 Inception 네트워크보다 잔차 Inception 네트워크가 약간 더 뛰어난 성능을 보인다는 증거도 있습니다. 잔차 및 비잔차 Inception 네트워크 모두에 대한 여러 새로운 간소화된 구조도 제시합니다. 이러한 변형은 ILSVRC 2012 분류 작업에서 단일 프레임 인식 성능을 크게 향상시킵니다. 매우 넓은 잔차 Inception 네트워크의 훈련을 안정화하는 방법으로 적절한 활성화 스케일링이 어떻게 작용하는지도 보여줍니다. 세 개의 잔차 네트워크와 하나의 Inception-v4 네트워크로 구성된 앙상블을 사용하여 ImageNet 분류(CLS) 챌린지의 테스트 세트에서 3.08%의 top-5 오류를 달성했습니다.