Key points are not available for this paper at this time.
우리는 파라미터가 적당히 적은(소수에서 중간 정도) 뉴럴 네트워크의 모델 적합성을 결정하는 데 있어 옵티마이저의 역할을 조사합니다. 우리는 적응형 모멘텀을 사용하는 1차 그래디언트 기반 최적화 알고리즘인 Adam, 2차 방법인 Levenberg-Marquardt (LM) 알고리즘, 2차 방법인 Broyden-Fletcher-Goldfarb-Shanno 알고리즘(BFGS), 그리고 BFGS의 저메모리 버전인 LBFGS의 성능을 연구합니다. 이러한 옵티마이저를 사용하여 몇 개의 파라미터를 가진 뉴럴 네트워크를 이용해 함수 y = sinc(10x)를 맞추었습니다. 이 함수는 변동하는 진폭과 일정한 주파수를 가지고 있습니다. 우리는 낮은 진폭 구성 요소를 맞추는 데 Adam, BFGS 및 LBFGS가 어려움을 겪고, 높은 진폭 구성 요소부터 먼저 맞춰진다는 것을 관찰합니다. 또한 BFGS 및 LM 옵티마이저를 사용하여 물리 정보 뉴럴 네트워크(PINN)로 Burgers 방정식을 해결합니다. 소수에서 중간 정도의 가중치를 가진 예제 문제들에서, 우리는 LM 알고리즘이 기계 정밀도로 빠르게 수렴할 수 있으며, 다른 옵티마이저에 비해 상당한 이점을 제공한다는 것을 발견했습니다. 우리는 다양한 모델로 Adam 옵티마이저를 추가로 조사했으며, LM 옵티마이저가 달성한 것과 가까운 모델 적합성을 달성하기 위해서는 최대 26배 이상의 파라미터를 포함한 더 깊은 모델이 필요하다는 것을 발견했습니다. LM 옵티마이저의 결과는 훨씬 더 적은 수의 파라미터로 모델을 구축할 수 있을 가능성이 있음을 보여줍니다. 우리는 모든 방법을 Keras와 TensorFlow 2에서 구현했습니다.
Taylor et al. (Mon,) 이 질문을 연구했습니다.