파인튜닝용 GPU 고르는 법

파인튜닝은 추론보다 메모리를 많이 씁니다

학습할 때는 가중치 외에 기울기(gradient)와 옵티마이저 상태가 함께 메모리에 올라갑니다. Adam 계열 옵티마이저로 혼합 정밀도 전체 파인튜닝을 하면 파라미터 1개당 대략 16바이트 안팎이 필요하다는 것이 흔히 쓰이는 어림값입니다. 여기에 배치 크기와 문장 길이에 따라 활성값 메모리가 더해집니다.

이 어림값으로 보면 7B 모델의 전체 파인튜닝은 GPU 1장(80GB)에 들어가지 않으며, 여러 GPU에 상태를 나눠 담는 방식(예: ZeRO, FSDP)이 필요합니다.

LoRA와 QLoRA

LoRA는 원래 가중치를 고정하고 작은 어댑터 가중치만 학습합니다. 기울기와 옵티마이저 상태가 어댑터에만 생기므로 메모리가 크게 줄어듭니다. QLoRA는 고정한 원래 가중치를 4비트로 양자화해 메모리를 더 줄입니다.

이 방식은 전체 파인튜닝보다 적은 VRAM으로 가능하므로 24GB나 40GB GPU에서도 중간 크기 모델을 다룰 수 있습니다. 결과 품질은 작업과 데이터에 따라 다르므로 평가 데이터로 확인해야 합니다.

GPU 수와 종류 정하기

1. 방식(전체 파인튜닝, LoRA, QLoRA)을 먼저 정합니다.
2. 짧은 학습을 실행해 GPU 1장에서 메모리가 부족한지, 스텝당 시간이 얼마인지 측정합니다.
3. 여러 GPU가 필요하면 8장 인스턴스의 GPU 1장·1시간 가격과 1장 인스턴스 가격을 비교합니다. GPU 간 연결 방식(SXM과 PCIe)에 따라 다중 GPU 학습 속도가 달라질 수 있습니다.
4. 총비용 = GPU 1장·1시간 가격 × GPU 수 × 학습 시간으로 계산합니다.

학습 중 비용 관리

학습은 중간에 멈추거나 다시 시작하는 일이 많습니다. 체크포인트를 저장하는 스토리지 요금과, 인스턴스를 켜 둔 채 기다리는 시간도 비용에 들어갑니다. 학습이 끝나면 인스턴스를 바로 종료하세요.