경계 최적화 알고리즘의 수렴에 대하여

EM 알고리즘을 사용하는 많은 실무자들은 때때로 그것이 느리다고 불평합니다. 이러한 일이 언제 발생하며, 그것에 대해 무엇을 할 수 있을까요? 본 논문에서는 경계 최적화 알고리즘의 일반적 범주, 즉 기대 최대화, 반복적 스케일링 및 CCCP를 연구하고, 이들이 매개변수 학습을 위한 그래디언트 기반 방법과 같은 직접 최적화 알고리즘과의 관계를 분석합니다. 우리는 경계 최적화 방법에 의해 수행되는 업데이트와 그래디언트 및 2차 방법의 업데이트 간의 일반적인 관계를 도출하고, 경계 최적화 알고리즘이 준 뉴턴 행동을 나타내는 분석적 조건과 첫 번째 차수 수렴이 나쁜 조건을 식별합니다. 이 분석을 바탕으로 몇 가지 특정 알고리즘을 고려하고, 그들의 수렴 특성을 해석 및 분석하며 이러한 알고리즘에 입력을 사전 처리하여 더 빠른 수렴 행동을 얻기 위한 몇 가지 방법을 제공합니다. 우리는 우리의 분석을 지원하는 실증적 결과를 보고하고, 간단한 데이터 전처리가 실제에서 경계 최적화기의 성능을 극적으로 향상시킬 수 있음을 보여줍니다.