LSTM 신경망 기반의 효율적인 온라인 학습 알고리즘

우리는 온라인 비선형 회귀를 조사하고 장기 단기 메모리(LSTM) 네트워크를 기반으로 한 새로운 회귀 구조를 소개합니다. 소개된 구조에 대해 우리는 또한 매우 효율적이고 효과적인 온라인 훈련 방법을 제공합니다. 이러한 새로운 LSTM 기반 구조를 훈련시키기 위해 우리는 기본 아키텍처를 상태 공간 형태로 배치하고, 매우 효율적이고 효과적인 입자 필터링(PF) 기반 업데이트를 도입합니다. 우리는 확률적 경사 하강법 및 확장 칼만 필터 기반 업데이트도 제공합니다. 우리의 PF 기반 훈련 방법은 충분한 수의 입자가 있고 특정 기술적 조건을 만족하는 경우 평균 제곱 오차 의미에서 최적 매개변수 추정으로의 수렴을 보장합니다. 더 중요하게는, 우리는 입자의 수를 조절하여 1차 경사 기반 방법의 복잡도 수준에서 이 성능을 달성합니다. 우리의 접근 방식은 일반적이기 때문에, 우리는 LSTM 아키텍처를 직접 GRU 아키텍처로 교체하여 GRU 기반 접근 방식을 도입합니다. 여기서 우리는 다양한 실제 데이터 세트를 통해 순차적 예측 작업에서 우리의 LSTM 기반 접근 방식의 우수성을 입증합니다. 또한 실험 결과는 여러 다른 기준 실제 데이터 세트에 대해 기존 방법에 비해 도입한 알고리즘이 달성한 상당한 성능 개선을 보여줍니다.