동적 기울기 스케일링: 딥 러닝에서 대규모 언어 모델 최적화를 위한 세밀한 접근법

초록: 대규모 언어 모델(LLMs)은 다양한 자연어 처리 작업에서 놀라운 능력을 보여주고 있습니다. 그러나 이러한 모델의 훈련은 종종 최적화 문제로 인해 방해를 받아 비효율성과 최적 이하의 성능을 초래합니다. 본 논문에서는 LLM의 독특한 요구에 맞춘 새로운 세밀한 최적화 기법인 동적 기울기 스케일링(DGS)을 제안합니다. DGS는 개별 매개변수의 중요도에 따라 학습률을 동적으로 조정하여 최적화 과정에서 향상된 효율성과 제어를 가능하게 합니다. DGS의 이론적 기초를 탐구하며 중요도 점수, 스케일링 팩터 및 적응형 학습률의 계산을 설명합니다. 딥 러닝 모델의 훈련 루프 내에서의 실제 구현을 통해 다양한 작업에서 DGS의 다재다능성을 보여줍니다. 제 연구는 DGS가 최적화 과정에 대한 세밀한 제어를 제공하여 훈련 효율성과 모델 성능을 개선함을 입증합니다.