분산 학습 클러스터 구축 시 GPU 폼팩터(SXM vs PCIe)와 비용

멀티 GPU 분산 학습의 병목: 통신 속도

단일 GPU로 감당할 수 없는 대규모 모델을 4장, 8장, 혹은 그 이상의 GPU 클러스터에서 분산 학습(Distributed Training)할 때, 전체 학습 속도를 결정짓는 가장 중요한 요소는 순수 GPU 연산력보다 **GPU 간 통신 대역폭(Interconnect Bandwidth)**입니다.

그래디언트 동기화(All-Reduce) 과정에서 병목이 발생하면 아무리 비싼 GPU를 연결해도 가동률이 30~40% 밑으로 급락할 수 있습니다.

SXM vs PCIe 폼팩터 차이

데이터센터 GPU(A100, H100 등)는 물리적 인터페이스에 따라 두 가지 형태로 나뉩니다:

1. SXM (보드 직접 탑재형):

   • 전용 NVLink 베이스보드에 GPU가 직접 체결됩니다.
   • H100 SXM5 기준 GPU당 900 GB/s 양방향 NVLink 대역폭을 제공합니다.
   • 8장의 GPU가 풀 메시(Full-mesh) 형태로 고속 통신할 수 있어 대규모 분산 학습에 필수적입니다.
   • 단점: 시간당 대여 단가가 PCIe 대비 15~30% 더 높습니다.

2. PCIe (확장 카드형):

   • 일반 서버 마더보드의 PCIe Gen4/Gen5 슬롯에 장착됩니다.
   • 슬롯당 양방향 대역폭이 64~128 GB/s 수준에 불과하며, 브릿지(NVLink Bridge)를 연결하더라도 2장 단위 연결에 그칩니다.
   • 단점: 텐서 병렬화(Tensor Parallelism)나 딥스피드(DeepSpeed) ZeRO-3 등 GPU 간 잦은 통신이 필요한 학습 시 극심한 통신 지연이 발생합니다.
   • 장점: 인스턴스 시간당 단가가 저렴하여 단독 추론이나 독립적인 병렬 작업에 경제적입니다.

클러스터 선택 가이드라인

• SXM 필수 워크로드: 13B 이상 대규모 모델의 분산 사전학습, 수십 기가바이트 이상의 가중치를 실시간 샤딩하는 메가트론(Megatron-LM) 파이프라인.
• PCIe로 충분한 워크로드: 데이터 병렬화(DDP) 기반의 소형 비전 모델 학습, 독립적인 배치 추론, LoRA 단일/소형 노드 학습.

퍼아워에서 확인하는 방법

H100 가격 및 A100 가격 상세 페이지에서 제공 업체별로 인스턴스가 SXM인지 PCIe인지 표기된 규격을 확인하고 비용 효율적인 클러스터를 선택하세요.