쿠프만 연산자 이론을 통한 신경망 층의 선형 연산으로의 표현

간단한 신경망의 강력한 성능은 종종 비선형 활성화에 기인한다고 여겨집니다. 그러나 신경망을 선형적으로 바라보면 네트워크를 이해하고 제어하는 것이 훨씬 더 접근하기 쉬워집니다. 우리는 신경망에 대한 동적 시스템 관점을 활용하여, 쿠프만 연산자 이론과 동적 모드 분해(DMD)와의 연결을 사용하여 새로운 관점을 제공합니다. 이들은 적절한 관측 공간에 시스템을 삽입하여 동적 시스템을 선형화할 수 있는 프레임워크를 제공합니다. 신경망을 동적 시스템으로 재구성함으로써, 우리는 사전 학습 된 다층 퍼셉트론(MLP)의 비선형 층을 유한 차원 선형 연산자로 대체할 수 있음을 보여줍니다. 또한, DMD의 고유값과 SVD의 오른쪽 특이 벡터를 분석하여 시간 지연 좌표가 쿠프만 이론이 네트워크 층을 선형화하는 데 유용하고 효과적인 관측 공간을 제공한다는 증거를 제시합니다. 결과적으로, 우리는 인 Yin-Yang 데이터 세트에서 훈련된 MLP의 층을 DMD 모델의 예측으로 대체하여 기존의 98.4%에 비해 최대 97.3%의 모델 정확도를 달성합니다. 또한, 우리는 MNIST 데이터 세트에서 훈련된 MLP의 층을 대체하여 테스트 세트에서 기존의 97.2%에 비해 최대 95.8%에 도달했습니다.