비대칭 수렴의 순환 좌표 하강 방법

초록. 순환 좌표 하강은 신호 처리, 통계 및 기계 학습에서 관심이 되살아난 고전적인 최적화 방법입니다. 이러한 새로운 관심의 이유는 방법의 단순함, 속도 및 안정성뿐만 아니라 1 정규화된 부드러운 최적화 문제에서의 경쟁력 있는 성능입니다. 놀랍게도 이러한 문제들에 대한 비대칭 수렴 행동에 대해서는 거의 알려진 바가 없습니다. 기존의 결과는 대개 수렴을 증명하거나 비대칭 속도를 제공합니다. 우리는 등정 assumption 하에 두 가지 변형의 순환 좌표 하강에 대해 O(1/k) 수렴 속도를 증명함으로써 문헌의 이 간극을 메워줍니다(여기서 k는 반복 횟수입니다). 우리의 분석은 두 변형에 의해 달성된 목표 값을 서로 비교하는 것으로 진행되며, 기울기 하강 알고리즘과 비교됩니다. 우리는 순환 좌표 하강 방법에 의해 생성된 반복 값이 시간이 지남에 따라 기울기 하강의 값보다 항상 뛰어난다는 것을 보여줍니다.