모델을 작게 만드는 이유: 증류의 동기
앞 절에서 모델이 클수록 능력이 창발하기 쉽다고 이야기했습니다. 그렇다면 업계 전체는 왜 그토록 모델을 작게 만들려 할까요? 능력이 유일한 제약 조건은 아니기 때문입니다. 비용, 지연 시간, 데이터가 밖으로 나갈 수 있는지 이 세 가지가 실제 프로젝트에서 플래그십 모델을 문밖에 세워 둡니다.
비용차이는 자릿수 단위이지 몇 퍼센트가 아니다
파라미터 수가 한 자릿수 작아지면 추론 한 번에 쓰는 연산량도 보통 한 자릿수 작아집니다. 업계에서 흔히 말하는 기준은, 작은 모델의 추론 비용이 플래그십 모델보다 한두 자릿수 낮을 수 있다는 것입니다. 실제 차이는 크기, 양자화 단계, 배치 크기, 배포 방식에 달려 있습니다. 숫자를 외우려 하지 말고, 이것이 할인이 아니라 자릿수 차이라는 점을 기억하세요.
속도로컬 실행은 네트워크 왕복 구간을 통째로 없앤다
원격 플래그십 모델을 호출하면 네트워크를 한 번 왕복하고, 대기열에 서고, 그다음 한 글자씩 생성합니다. 몇 초 기다리는 것이 보통입니다. 로컬에서 돌리는 작은 모델은 네트워크 구간을 없애기 때문에 첫 글자가 훨씬 빨리 나옵니다. 대화형 제품은 이 구간에 특히 민감합니다. 사용자가 3초를 기다리는 것과 0.3초를 기다리는 것은 전혀 다른 경험입니다.
온프레미스와 규제 준수내부망 밖으로 아예 나갈 수 없는 데이터가 있다
진료 기록, 소송 서류, 내부 코드, 미공개 재무 데이터 같은 내용은 내부망을 벗어나지 않아야 한다는 규제를 받습니다. 이럴 때는 상대 모델의 성능이 아무리 뛰어나도 쓸 수 없습니다. 첫 단계부터 통과하지 못하기 때문입니다. 로컬에 배포한 작은 모델이 유일한 길입니다. 첫 절에서 가중치를 이야기할 때 말한 통제권이 여기서는 강제 조건이 됩니다.
「한두 자릿수 낮다」는 말은 월말 청구서로 옮기면 얼마일까요? 여러분 제품의 요청량을 끌어다 넣어 보세요.
「작다」는 상대적인 표현이지만 판단 기준은 아주 구체적입니다. 지금 손에 있는 그래픽카드에 들어가느냐입니다. 이 장 뒤쪽에 이 계산만 전담하는 인터랙티브 도구 페이지가 있습니다. 여기서는 공식만 먼저 제시합니다.
FP16은 2.6, INT4는 0.65를 씁니다. 계수 안에 KV Cache 같은 실행 중 오버헤드가 이미 포함되어 있으니 밖에서 다시 곱하지 마세요.
이 기준으로 몇 가지 크기를 계산해 봅니다. 마지막 열은 INT4로 양자화한 뒤 24 GB 소비자용 그래픽카드 한 장에서 돌아가는지 여부입니다.
결론은 단순합니다. 8B라는 크기는 양자화하고 나면 몇 년 전 게이밍 그래픽카드 한 장으로도 돌아가고, 플래그십 크기는 어떻게 양자화해도 들어가지 않습니다. 그래서 질문은 다른 것으로 바뀝니다. 작은 크기의 능력을 끌어올릴 수 있는가.
능력을 끌어올리는 길은 둘입니다. 하나는 작은 모델이 처음부터 스스로 배우게 하는 것으로, 데이터와 연산과 시행착오를 전부 다시 겪습니다. 다른 하나는 이미 배운 큰 모델을 데려와 가르치게 하는 것입니다. 후자가 바로 지식 증류입니다.
기존 학습과의 차이는 주로 한 번에 얼마나 많은 정보를 넘겨줄 수 있느냐에 있습니다.
학습 데이터가 주는 것은 정답입니다. 맞히면 점수를 얻고 틀리면 잃습니다. 문제 하나에서 돌아오는 정보는 사실상 「맞음」 아니면 「틀림」 하나뿐입니다. 터무니없이 틀렸는지 한 끗 차이로 틀렸는지는 레이블에서 알 수 없습니다. 정보가 매우 희소하기 때문에 막대한 데이터와 막대한 연산으로 쌓아 올려야 합니다.
선생이 내놓는 것은 최종 답 하나만이 아니라 여러 후보 사이의 선호도까지입니다. 같은 문제에서 학생은 선생이 어떤 선택지를 가깝다고 보고 어떤 선택지를 전혀 아니라고 보는지 확인할 수 있습니다. 같은 데이터 한 건이 담는 정보량이 훨씬 크므로 학생이 배우는 속도도 훨씬 빠릅니다.
이 정보를 구체적으로 어떻게 넘기고 학습할 때 어떻게 계산하는지는 다음 절 oss-6에서 뜯어 다룹니다. 이 절에서는 동기만 기억하면 됩니다. 증류가 아끼는 것은 돈과 시간이지, 새로운 능력을 만들어 내지는 않습니다.
2025년 1월 20일, DeepSeek이 R1을 공개하면서 증류 버전 소형 모델도 함께 오픈소스로 냈습니다. 방식은 R1으로 추론 데이터를 생성하고, 그 데이터로 더 작은 모델을 학습시키는 것입니다. 이 증류 버전 중 일부는 Llama를, 일부는 Qwen을 베이스 모델로 삼았습니다.
이 건은 기억해 둘 만합니다. 공개적으로 확인 가능한 제3자의 선택이기 때문입니다. 한 회사가 증류를 하면서 어떤 베이스 모델을 골랐는지는 어떤 홍보 문구보다 많은 것을 말해 줍니다. R1은 MIT License를 적용했고, 공식 공지에 증류를 통해 다른 모델을 학습시키는 것을 허용한다고 명시했습니다. 이 문장이 문서로 분명히 남아 있어야 다른 사람들도 이 길을 끝까지 갈 수 있습니다.
이 모델들의 명명 규칙과 구체적인 방식은 다음 절에서 펼쳐 다룹니다.
둘째,적용 가능한지는 VRAM이라는 확실한 지표부터 봅니다. 공식은 파라미터 수 곱하기 정밀도 계수입니다.
셋째,증류는 큰 모델이 작은 모델을 가르치게 하는 것이고, 목적은 처음부터 학습시키는 비용을 덜어 내는 것입니다.
넷째,작은 모델에는 능력의 천장이 있고 선생의 결함도 물려받습니다. 이 두 가지는 모델을 고를 때 먼저 테이블 위에 올려 두어야 합니다.
다음 절에서는 증류를 구체적으로 어떻게 하는지 봅니다. 선생이 어떻게 문제를 내고, 학생이 어떻게 답을 맞춰 보며, 그 사이에 어떤 엔지니어링상의 함정이 있는지 다룹니다.