두 GPU의 차이
H100은 NVIDIA Hopper 아키텍처, A100은 그 이전 세대인 Ampere 아키텍처의 데이터센터 GPU입니다. H100은 FP8 연산과 Transformer Engine을 지원해 트랜스포머 모델 학습·추론에서 A100보다 빠르게 동작하도록 설계됐습니다.
VRAM은 클라우드에서 H100이 주로 80GB, A100이 40GB 또는 80GB로 제공됩니다. 같은 A100이라도 40GB와 80GB는 올릴 수 있는 모델 크기가 다르므로 가격표의 VRAM 열을 함께 확인해야 합니다.
시간당 가격만 보면 생기는 오류
GPU 1장·1시간 가격은 A100이 H100보다 대체로 낮습니다. 하지만 실제로 내는 돈은 다음 식으로 정해집니다.
작업 비용 = GPU 1장·1시간 가격 × GPU 수 × 작업에 걸린 시간
H100이 같은 작업을 더 짧은 시간에 끝내면 시간당 가격이 높아도 총비용이 더 낮을 수 있습니다. 반대로 작업이 GPU 연산이 아니라 데이터 로딩이나 통신에서 막히면 H100의 속도 이점이 줄어듭니다.
고르는 순서
- 모델이 GPU 메모리에 들어가는지 먼저 확인합니다. 40GB로 부족하면 A100 40GB는 후보에서 뺍니다.
- 같은 작업을 두 GPU에서 짧게 실행해 처리량(초당 토큰 수, 스텝당 시간)을 측정합니다.
- 측정한 처리량으로 작업 시간을 추정하고 위 식으로 총비용을 비교합니다.
- 작업 기간 동안 원하는 업체에 해당 GPU 재고가 있는지 확인합니다.
퍼아워에서 확인하는 방법
H100 가격과 A100 가격 페이지에서 업체별 GPU 1장·1시간 가격을 확인하고, H100 vs A100 비교 페이지에서 두 모델의 최저가 차이를 확인할 수 있습니다. 가격은 VAT 제외 기준이며 수집일이 표시됩니다.