가중치란 무엇인가: 모델의 실력이 전부 담긴 파일
뉴스에서는 매일같이 「어떤 모델이 오픈소스로 공개됐다」고 합니다. 그런데 공개되는 것이 정확히 무엇일까요? 코드일까요? 실제로는 주로 파일 하나, 바로 가중치입니다. 이것이 무엇인지 확실히 잡아 두면 뒤에 이어지는 오픈소스 논쟁은 스스로 판단할 수 있습니다.
모델 내부에는 규칙도, 지식 베이스도, if-else도 없습니다. 있는 것은 거대한 숫자 표 하나뿐입니다. 아래 칸에 들어 있는 숫자 하나하나가 곧 가중치이고, 색이 진할수록 절댓값이 큽니다.
위에 있는 것은 36개입니다. Qwen3-8B 모델 하나에는 이런 숫자가 80억 개 들어 있습니다. 학습이란 결국 이 수십억 개의 숫자를 무작위 값에서 적절한 값으로 조금씩 조정하는 과정입니다. 조정이 끝나면 파라미터가 동결되고, 모델의 형태가 확정됩니다.
가중치 하나가 몇 바이트를 차지하는지는 저장 정밀도에 달려 있습니다. 모델을 배포할 때는 보통 FP16을 쓰는데, 숫자 하나당 2바이트라는 뜻입니다. 그래서 파일 용량에는 외우기 쉬운 어림셈이 있습니다.
80억 파라미터 × 2바이트 = 160억 바이트 ≈ 16 GB
공식은 외웠어도 그것이 실제로 무엇을 뜻하는지는 한 번 끌어 봐야 손에 잡힙니다. 아래 슬라이더는 0.5B부터 2.4조까지 이동하고, 저장 정밀도도 옆에서 바로 바꿔 볼 수 있습니다. 같은 모델의 파일이 어떻게 부풀고 줄어드는지 직접 확인해 보세요.
실제 모델 몇 개로 비교해 보겠습니다. 여기서 Qwen 시리즈를 자로 삼은 이유는 크기 라인업이 현재 가장 촘촘하기 때문입니다. 0.6B부터 2.4T까지 공개된 모델이 있어서, 같은 시리즈 안에서 비교하면 아키텍처 차이가 끼어들지 않습니다.
저장 용량과 실행 중 점유량은 별개입니다. 파일이 16 GB라고 해서 VRAM 16 GB로 돌릴 수 있다는 뜻은 아닙니다. 모델은 실행 중에 대화의 중간 상태를 담아 둘 공간을 따로 쓰는데, 제2편에서 다룬 KV Cache가 그것입니다. 계산해 보면 보통 파라미터 기준보다 30~50%를 더 잡아야 합니다.
이 장의 마지막에는 인터랙티브 도구 페이지가 있습니다. 자기 그래픽카드나 Mac 모델을 직접 골라 어떤 모델을 돌릴 수 있는지 확인할 수 있습니다. 여기서는 결론만 기억해 두세요. 파일 크기로 VRAM을 어림하면 과소평가하게 됩니다.
앞의 이야기를 이어 붙이면 가중치의 의미가 분명해집니다. 그것은 단순한 파일이 아니라 통제권입니다.
반대로 API만 제공하는 모델에서 여러분이 빌리는 것은 사용권입니다. 가격도, 가용성도, 언제 서비스를 내릴지도 전부 상대가 정합니다. 이 차이는 기술 선정 단계에서 그대로 리스크가 되고, 다음 절에서 뜯어볼 주제이기도 합니다. 업체마다 입에 올리는 「오픈소스」는 그 뜻이 서로 아주 많이 다릅니다.