Answers are grounded in this paper and cite their sources.
Shows enhanced collective communication efficiency in large-scale language model training, indicating significant performance improvements.
대규모 언어 모델(LLM) 분산 학습에서 GPUDirect RDMA 기반의 집합 통신 효율성은 전체 성능을 좌우한다. 최근 유연성을 갖춘 FPGA 기반 RDMA NIC이 주목받고 있으나, 구조적으로 높은 DMA 지연 시간을 갖는다는 한계가 있다. 본 논문은 이러한 지연 현상이 NCCL/RCCL의 loopback RDMA read 과정과 결합되어 심각한 집합 통신 병목을 유발함을 규명한다. 이를 해결하고자, GPU 메모리를 호스트 가상 주소에 매핑해 사용자 공간에서 직접 읽어 하드웨어 경로를 우회하는 소프트웨어 최적화 기법을 제안한다. 이 기법은 드라이버 수준에서 투명하게 동작해 애플리케이션 수정이 불필요하다. AMD Versal 기반 200G FPGA RDMA NIC을 사용한 실험 결과, loopback read 지연이 ASIC 대비 28배 이상 감소했고, RCCL allreduce 대역폭은 최대 58% 향상되어 이론적 최대치의 98%에 도달하였다.
No takes yet. Share an insight, caveat, or question.
Kim et al. (2026) studied this question.
Synapse has enriched 10 related papers. Consider them for comparative context: