데이터 인코딩을 통한 분산 최적화에서의 지연 작업 완화

느리게 실행되거나 지연되는 작업은 분산 컴퓨팅에서 계산 속도를 상당히 감소시킬 수 있습니다. 최근에는 인코딩 이론에 영감을 받은 접근 방식이 지연 효과를 완화하기 위해 최적화 알고리즘의 특정 선형 계산 단계에 중복성을 포함시키는 방법으로 적용되었으며, 이를 통해 지연 작업을 기다리지 않고 계산을 완료할 수 있습니다. 본 논문에서는 데이터를 직접 중복성을 포함시키고, 계산이 인코딩을 전혀 인식하지 않고 진행될 수 있도록 하는 대안적인 접근 방식을 제안합니다. 여러 가지 인코딩 방식이 제안되며, 그래디언트 하강법 및 L-BFGS와 같은 대중적인 배치 알고리즘이 인코딩에 무관하게 적용되었을 때, 매 반복마다 임의로 변화하는 노드 집합을 이용하여 원래 문제의 근사해에 대해 결정론적으로 샘플 경로 선형 수렴을 달성함을 보여줍니다. 또한, 이 근사는 각 반복에서 사용되는 중복성의 양과 노드 수에 의해 조절될 수 있습니다. 본 접근 방식이 비인코딩 및 데이터 복제 전략에 비해 가지는 이점을 보여주는 실험 결과를 제공합니다.