Key points are not available for this paper at this time.
순환 신경망은 순차 데이터를 모델링하는 데 널리 사용되고 있습니다. 그러나 이러한 모델을 사용하여 장기 의존성을 학습하는 것은 폭발적인 기울기나 소실 기울기 때문에 여전히 어려운 과제입니다. 이 논문에서는 순환 네트워크와 일반 미분 방정식 간의 연결성을 다룹니다. 이론적 프레임워크 아래에서 제안되는 AntisymmetricRNN이라고 하는 특별한 형태의 순환 네트워크는 그 기저 미분 방정식의 안정성 속성 덕분에 장기 의존성을 포착할 수 있습니다. RNN의 훈련 가능성을 개선하는 기존 접근법은 종종 상당한 계산 오버헤드를 초래합니다. 비교적, AntisymmetricRNN은 설계적으로 동일한 목표를 달성합니다. 우리는 광범위한 시뮬레이션과 실험을 통해 이 새로운 아키텍처의 장점을 보여줍니다. AntisymmetricRNN은 더욱 예측 가능한 동역학을 나타냅니다. 장기 기억이 요구되는 작업에서 일반 LSTM 모델을 능가하며, 단기 의존성이 지배하는 작업에서도 성능이 일치하지만 훨씬 더 간단합니다.
Chang et al. (화요일,)은 이 문제를 연구했습니다.