다중 GPU를 이용한 대규모 데이터셋에서 유클리드 거리 행렬 계산을 위한 청크 방법

유클리드 거리 행렬 계산은 데이터 집약적인 작업이며 대규모 데이터셋에서는 계산적으로 불가능해진다. 최근의 그래픽 처리 장치(GPU) 발전은 대규모 병렬 처리 코어를 사용한 과학적 문제 해결에서 뛰어난 성능을 발휘하고 있다. 그러나 장치 메모리의 크기가 제한되어 있기 때문에, 많은 GPU 기반 알고리즘은 대규모 데이터셋 문제를 해결하는 데 능력이 낮다. 본 논문에서는 대규모 데이터셋에서 유클리드 거리 행렬을 계산하기 위해 청크 방법을 제안한다. 이는 다중 GPU 환경에서의 확장성을 위해 설계되었을 뿐만 아니라 각 개별 GPU 장치의 계산 능력을 극대화하는 것을 목표로 한다. 우선, 유클리드 거리 행렬의 부분 행렬을 계산하기에 적합한 빠른 GPU 알고리즘을 구현한다. 다음으로, 최종 거리 행렬 계산을 여러 개의 독립적인 부분 거리 행렬 계산 작업으로 나누기 위해 Map-Reduce 유사 프레임워크를 활용하며, 이는 우리의 GPU 알고리즘으로 효율적으로 해결될 수 있다. 이 프레임워크는 최대 성능을 위해 독립적인 작업에 GPU 자원을 동적으로 할당한다. 실험 결과는 50만 개 이상의 데이터 포인트를 포함하는 데이터셋에서 15배의 속도 증가를 보여주었다.