오버랩 통신을 사용하는 분산 메모리 병렬 컴퓨터에서의 고성능 행렬 곱셈 알고리즘

본 논문에서는 분산 메모리 병렬 컴퓨터에서 행렬-행렬 곱셈을 위한 스키마를 제안합니다. 이 스키마는 계산과 함께 거의 모든 통신 비용을 숨기고, 각 노드에서 표준 최적화된 Level-3 BLAS 작업을 사용합니다. 결과적으로, 이 스키마의 전체 성능은 컴퓨터의 노드 수와 곱한 Level-3 최적화 BLAS 작업의 성능과 거의 동일하며, 이는 병렬 BLAS에서 얻을 수 있는 최대 성능입니다. 우리의 알고리즘의 또 다른 특징은, 기본 통신 네트워크가 느리더라도 더 큰 행렬에 대해 최대 성능을 제공할 수 있다는 것입니다.