Quantization(양자화)이란?
Quantization은 모델 가중치(weights)를 고정밀 숫자 포맷(32-bit 또는 16-bit 부동소수점)에서 저정밀 포맷(8-bit 또는 4-bit 정수)으로 변환하는 기술입니다. 파라미터당 비트 수가 줄어들면 모델 용량이 몇 배로 작아지고, 추론 속도가 빨라지며, VRAM 요구량이 크게 낮아집니다. 기존에는 “양자화 = 정확도를 조금 희생하고 효율을 얻는 것"이라는 게 상식이었지만, 이 전제가 최근 깨지고 있습니다.
Hugging Face가 최근 공개한 “Quantization-Aware Healing” 기법은 양자화 과정에서 핵심 가중치를 추가로 복구해, 압축된 4-bit 모델이 특정 작업에서 원본 풀프리시전 모델보다 더 나은 성능을 내게 만듭니다 — 양자화가 더 이상 단순한 타협이 아니라 오히려 개선일 수 있다는 신호입니다. 실전에서 이런 기술은 70B급 모델을 소비자용 GPU 한 대에 올릴 수 있게 하는 핵심 단계이며, 스마트폰·Jetson·라즈베리파이 같은 엣지 디바이스가 LLM을 구동할 수 있는 근본적인 이유이기도 합니다. 자체 호스팅 팀에게는 더 비싼 하드웨어를 사는 것보다 적절한 양자화 방식(GGUF, GPTQ, AWQ)을 고르는 것이 더 큰 효과를 낼 때가 많습니다.