「모델을 훈련시켰다」는데, 대체 뭘 훈련한 걸까요?
술자리에서 잔을 들고 「최근에 모델을 훈련시켰다」고 말하는 사람, 꼭 있죠. 그 말의 과장은 0에서 99%까지예요. 이 페이지는 상대가 대체 뭘 했는지 듣게 도와주고, 덤으로 테이블을 조용하게 만드는 추궁 세 마디도 알려 드려요.
AI 업계에서 훈련이란 모델 자체의 파라미터를 바꾸는 일이고, 비용은 수십만에서 억 단위 위안까지예요. 그런데 대부분이 말하는 「모델을 훈련시켰다」는 실제로는 프롬프트를 썼거나, 지식 베이스를 연결한 것이에요. 5분과 5천만 위안의 차이죠.
대규모 언어 모델 안에는 수백억에서 조 단위의 파라미터가 들어 있어요. 파라미터를 뇌의 신경 연결이라고 생각해 보세요. 모델의 실력은 전부 이 숫자들 안에 있어요. 훈련이란 방대한 데이터로 이 숫자들을 반복해서 씻어 내며 조금씩 맞추는 일이에요. 전기, GPU, 돈이 들고 — 아이 하나를 스무 해 동안 학교에 보내는 것과 맞먹어요. 중자산 공사에 가깝죠.
평소 AI에게 「당신은 베테랑 편집자예요, 문장을 다듬어 주세요」라고 하거나 회사 자료를 올리는 일은 파라미터를 하나도 건드리지 않아요. 비유하면, 전자는 대학생을 처음부터 키우는 것이고, 후자는 이미 자란 대학생에게 메모지 한 장이나 매뉴얼 한 권을 건네는 거예요. 메모지는 쓸모가 있지만, 그렇다고 「대학생을 키웠다」고 말할 수는 없어요.
그러니 다음에 「모델을 훈련시켰다」는 말을 들으면, 첫 반응은 이걸로 충분해요: 파라미터를 건드렸나? 얼마나? 아래 사다리가 모든 경우를 네 층으로 나눠 줘요.
아래에서 위로, 한 층을 오를 때마다 비용과 허들이 지수적으로 올라가요. 각 층을 누르면 시간, 비용, 허들이 펼쳐져요. 술자리 「모델을 훈련시켰다」의 열에 아홉은 맨 아래 두 층에서 일어나요.
프롬프트 고치기
지식 베이스 연결하기 (RAG)
파인튜닝
처음부터 사전학습
퀴즈 하나: 아래 다섯 문장은 사교 자리에서 자주 나오는 말이에요. 각 문장이 말하는 일이 어느 층에서 일어났을 가능성이 큰지 맞춰 보세요. 선택지를 누르면 답이 열려요.
상대가 어느 층인지 안 가려지나요? 추측하지 말고 그냥 물으세요. 이 세 질문이 비용, 데이터, 베이스 세 급소를 각각 짚어요. 답하지 못하는 사람은 스스로 층이 내려가요.
「컴퓨팅 비용이 얼마였나요?」
훈련은 진짜 돈으로 태워 만드는 일이에요. L3부터 GPU를 빌려야 하고, L4는 수천만에서 억 단위를 태워요. 비용 규모를 대지 못하는 「훈련」은, 십중팔구 일어난 적이 없어요.
「데이터는 어디서 났나요?」
파라미터를 바꾸려면 규모 있는 훈련 데이터가 필요해요. 「회사 문서를 먹여 줬어요」라고 하면 거의 L2 지식 베이스 연결이고, 모델 자체 파라미터는 하나도 안 움직인 거예요.
「베이스는 어떤 모델인가요?」
L1부터 L3까지는 전부 남의 베이스 위에 서 있어요. 전혀 부끄러운 일이 아니지만, 분명히 말할 가치는 있어요. 「핵심 기술이라 밝히기 어렵다」고 얼버무리면, L1으로 보면 돼요.
✅ 이 페이지에서 나누고 싶은 것
- 훈련 = 모델 파라미터를 바꾸는 일: 프롬프트를 쓰거나 지식 베이스를 연결하는 것은 파라미터를 안 건드렸으니, 엄밀히는 「모델을 쓰는 일」이에요
- 네 층 사다리: 프롬프트 고치기, 지식 베이스 연결, 파인튜닝, 처음부터 사전학습 — 한 층 오를 때마다 허들이 지수적으로 올라가요
- 「모델을 훈련시켰다」를 들으면 비용과 데이터부터 물으세요: 답하지 못하는 사람은 스스로 층이 내려가요
- 프롬프트를 고치는 일은 전혀 부끄럽지 않아요: 수요의 열에 아홉은 그걸로 충분해요. 부끄러운 것은 L1에 서서 L4라고 하는 일