비볼록 확률적 최적화를 위한 ADAM 알고리즘의 수렴 및 동역학적 행동

Adam은 함수의 지역 최소값을 찾기 위한 확률적 경량 내림차순의 인기 있는 변형입니다. 일정한 스텝 사이즈 체제에서, 목표 함수가 미분 가능하고 비볼록하다고 가정하면, 우리는 안정성 조건 하에 반복값의 긴 시간 동안의 수렴을 정립합니다. 주요 요소는 비자율 미분 방정식 형태의 Adam의 연속 시간 버전을 도입하는 것입니다. 이 연속 시간 시스템은 Adam 반복 알고리즘의 중요한 근사 형태이며, 보간된 Adam 프로세스가 ODE의 해로 약하게 수렴함을 의미합니다. 해의 존재성과 유일성을 확립했습니다. 우리는 또한 해의 수렴이 목표 함수의 비판적 점으로 향함을 보여주고, Łojasiewicz 가정 하에서 그 수렴 속도를 정량화합니다. 그 후, 우리는 Adam의 새로운 감소하는 스텝 사이즈 버전을 도입합니다. 온화한 가정 하에, 반복값은 거의 확실히 제한되어 있으며 목표 함수의 비판적 점으로 거의 확실히 수렴함을 보여줍니다. 마지막으로, 우리는 조건부 중심 극한 정리를 통해 알고리즘의 변동성을 분석합니다.