Forward Thinking: 한 번에 한 계층씩 신경망 구축 및 훈련

본 연구에서는 backpropagation 없이 심층 신경망을 훈련하기 위한 일반적인 프레임워크를 제시합니다. 이는 훈련 시간을 크게 단축시키며, 의사결정나무와 같이 쉽게 미분되지 않는 함수로 계층이 정의된 네트워크를 포함하여 다양한 종류의 학습기를 가진 심층 네트워크의 구축을 가능하게 합니다. 핵심 아이디어는 계층을 한 번에 하나씩 훈련할 수 있으며, 훈련이 완료되면 입력 데이터가 해당 계층을 통해 순방향으로 매핑되어 새로운 학습 문제를 생성한다는 점입니다. 이 과정을 반복하여 한 번에 하나씩 여러 계층을 통해 데이터를 변환함으로써, 더 잘 다루어질 것으로 기대되고 최종 출력 계층이 우수한 성능을 달성할 수 있는 새로운 데이터셋을 만들어냅니다. 우리는 이를 forward thinking이라고 부르며, convolutional neural networks에 대해 MNIST 데이터셋에서 최첨단(state-of-the-art) 정확도를 달성함으로써 개념 증명을 제시합니다. 또한 다른 유형의 딥러닝 문제들도 고려할 수 있도록 forward thinking의 일반적인 수학적 공식화를 제공합니다.