오픈소스 특집 · 대형 모델을 작게 만드는 법

창발: 능력은 왜 갑자기 나타나는가

모델이 클수록 강하다는 말은 자연스럽게 들립니다. 실제 상황은 조금 더 복잡합니다. 모델이 작을 때는 0점에 가깝다가, 파라미터 수가 어떤 단계를 넘어선 뒤 짧은 구간에서 생겨나는 능력이 있습니다. 이 현상을 창발이라고 하며, 뒤에 이어지는 몇 개 절에서 다룰 모든 모순의 출발점이기도 합니다.

결론부터

능력이 파라미터 수를 따라 올라가는 과정은 매끄럽지 않은 경우가 많습니다.어떤 유형의 과제에서는 모델이 아주 넓은 규모 구간에서 계속 0점에 붙어 있어, 겉보기에는 전혀 진전이 없어 보입니다. 그러다 파라미터 수가 어떤 지점을 넘어서면 성적이 아주 짧은 구간에서 쓸 만한 수준까지 뛰어오릅니다. 그 도약이 일어나기 전에는, 이미 확보한 데이터 점만 보고 뒤에 무슨 일이 벌어질지 알아낼 수 없습니다.

두 곡선, 형태가 완전히 다르다

가로축에 파라미터 수를, 세로축에 특정 과제의 성적을 놓으면 두 가지 추세가 보입니다. 하나는 규모를 따라 꾸준히 올라가면서 파라미터를 두 배로 늘릴 때마다 점수를 조금씩 더 얻습니다. 다른 하나는 아주 긴 구간 동안 바닥에 붙어 있다가 어느 지점에서 갑자기 고개를 듭니다.

일반 능력, 규모에 따라 꾸준히 상승 창발 능력, 임계값을 넘으면 도약

위 그림은 도식이며, 가로축과 세로축의 값은 특정 모델이나 평가 세트에 대응하지 않습니다. 현상과 곡선 형태는 Wei et al., Emergent Abilities of Large Language Models, TMLR 2022(arXiv:2206.07682)을 참고했습니다.

까다로운 쪽은 왼쪽 절반입니다. 도약이 일어나기 전까지 이 곡선은 「이 방향은 안 된다」와 똑같이 생겼습니다. 앞부분 데이터만 손에 있을 때는 뒤에서 고개를 들지 여부도, 고개를 드는 위치도 외삽할 수 없습니다. 어떤 능력이 어느 규모에서 나타날지 미리 계산해 내는 이론도 아직 없습니다.

글로 읽으면 밋밋하지만, 한 번 끌어 보면 느낌이 옵니다. 아래에서 모델 규모를 여러분 손에 맡깁니다. 0.5B부터 위로 밀어 올리면서 여섯 가지 능력이 어떻게 하나씩 켜지는지 보세요.

가장 작은 쪽에서 가장 큰 쪽까지 끌어 보세요. 불이 한꺼번에 켜지지 않고 하나씩 튀어나온다는 점에 주목하세요.

모델 규모 0.5 B

0 / 6

위의 임계값은 자릿수 수준의 예시이며, 공개된 연구와 업계 논의에서 반복해서 인용되는 관찰을 가져온 것이지 정밀한 측정값이 아닙니다. 아키텍처를 바꾸거나 학습 데이터를 바꾸거나 평가 방식을 바꾸면 이 위치들은 눈에 띄게 이동합니다.

반복해서 언급되는 여섯 가지 사례

아래 능력들은 공개된 연구와 업계 논의에서 창발의 사례로 다뤄지는 것들입니다. 함께 적은 규모는 자릿수 참고용일 뿐입니다. 같은 능력이라도 아키텍처를 바꾸거나, 학습 데이터를 바꾸거나, 평가 방식을 바꾸면 그 위치가 눈에 띄게 이동합니다.

다단계 수학 추론

한 단계짜리 산술은 작은 모델도 일부는 맞힙니다. 여러 단계를 연달아 추론한 뒤 답을 내라고 하면, 작은 모델의 정답률은 오랫동안 0에 붙어 있습니다.

약 10B 규모

다국어 전이

영어 말뭉치에서 익힌 추론 방식을 학습 중에 거의 등장하지 않은 언어에도 적용합니다. 규모가 모자라면 언어를 바꾸는 순간 성적이 무너집니다.

약 7B 규모

구조화 출력과 도구 호출

유효한 JSON을 안정적으로 뱉고, 함수 시그니처에 맞춰 인자 타입을 정확히 채웁니다. 이 능력은 따로 설계해 넣은 것이 아니라 학습이 끝난 뒤에 있다는 것을 발견한 것입니다.

약 7B 규모

사고의 사슬 추론(CoT)

모델에게 추론 과정을 먼저 쓴 뒤 답을 내게 하는 방식입니다. 작은 모델에서는 이 방법으로 이득을 얻지 못하고, 원래 맞히던 문제까지 어긋나게 만들 때도 있습니다.

약 100B 규모

마음 이론(ToM)

대화 상대가 어떤 정보를 알고 있고 어떻게 생각할지를 판단하는 능력입니다. 논란이 가장 큰 항목으로, 시험 문항의 몇 글자만 고쳐 쓰자 그 능력이 사라졌다는 연구도 있습니다.

논쟁 중

긴 대화에서의 역할 일관성

수십 턴이 지난 뒤에도 설정된 정체성, 어조, 경계를 지키며 도중에 이탈하지 않고, 사용자의 몇 마디에 끌려가지도 않습니다.

약 13B 규모

사고의 사슬이 약 100B 규모에서야 뚜렷한 이득을 보인다는 내용은 Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, NeurIPS 2022(arXiv:2201.11903) 참조. 마음 이론 관련 보고는 Kosinski, arXiv:2302.02083(2023) 참조. 같은 시기 Ullman, arXiv:2302.08399은 과제를 조금만 고쳐 써도 그 성능이 사라진다고 지적했습니다. 나머지 항목의 파라미터 수는 자릿수 참고용이며, 업계에 통일된 권위 있는 임계값은 없으므로 정확한 수치로 인용하지 마세요. 확인일 2026-08-07.

이 문제는 학술적으로 아직 결론이 나지 않았다

상당 부분의 「창발」은 평가 지표가 만들어 낸 착시라고 보는 연구 진영이 있습니다.채점 방식을 바꾸면 같은 모델들이 같은 문제들에서 그리는 곡선이 매끄러운 상승으로 바뀝니다.

논증은 이렇습니다. 다단계 수학 문제는 보통 「답이 완전히 맞아야」 점수를 주고, 중간에 한 단계라도 틀리면 문제 전체가 0점입니다. 이런 채점 방식은 이산적이어서, 모델의 연속적인 향상을 이진 결과로 눌러 버립니다. 모델이 터무니없이 틀리던 상태에서 마지막 한 끗만 남은 상태로 나아져도 점수는 여전히 0입니다. 그 마지막 문턱을 넘어서야 점수가 0에서 한 번에 뛰어오릅니다.

채점을 연속 지표로 바꾸면, 예를 들어 정답에 대한 로그 확률을 token 단위로 보면 같은 실험의 곡선이 매끄럽게 상승하는 선으로 바뀝니다. 도약이 사라진다는 것은 그 도약이 자에서 나온 것이고, 모델 자체는 줄곧 꾸준히 좋아지고 있었다는 뜻입니다.

이산 지표

한 번에 통과해야 점수를 줍니다. 중간의 향상은 전부 0으로 기록되었다가 마지막에 한꺼번에 반영되니, 보기에는 한 번의 도약이 됩니다.

연속 지표

부분 정답에도 점수를 줍니다. 같은 모델들의 향상이 빠짐없이 기록되어 곡선이 매끄러운 상승으로 바뀝니다.

Schaeffer, Miranda & Koyejo, Are Emergent Abilities of Large Language Models a Mirage?, NeurIPS 2023(arXiv:2304.15004). 이 논문은 창발이 상당 부분 연구자가 고른 평가 지표에서 비롯된다고 주장합니다. 비선형 또는 이산 지표를 쓰면 도약이 나타나고, 선형·연속 지표로 바꾸면 곡선이 매끄러워진다는 것입니다. 위 두 미니 그래프는 원리를 나타낸 도식이며 논문의 데이터를 가져온 것이 아닙니다. 확인일 2026-08-07.

이 반론이 현상 전체를 뒤집은 것은 아닙니다. 그보다 더 구체적인 사실 하나를 말해 줍니다. 계단형 곡선을 보면, 그 계단이 모델에서 온 것인지 여러분의 자에서 온 것인지 먼저 확인하라는 것입니다. 제품을 만드는 사람에게는 이 환기가 논쟁 자체보다 유용합니다. 검수 기준이 「한 번에 통과해야 합격」이라면, 여러분의 데이터에서도 계단이 보일 가능성이 높습니다.

제품을 만드는 사람에게 주는 의미

더 큰 모델로 바꾸기 전에 직접 한 번 측정한다

벤치마크가 재는 것은 범용 과제이고, 여러분의 상황은 마침 어떤 임계값 근처에 걸려 있을 수 있습니다. 규모를 한 단계 올리면 바로 풀릴 수도 있고, 전혀 달라지지 않을 수도 있습니다. 반나절을 들여 스무 개에서 서른 개 정도의 샘플로 작은 테스트 세트를 만들고 실제 데이터로 한 번 돌려 보는 편이, 평가 글 열 편을 읽는 것보다 낫습니다.

작은 모델이 못 하는 일을 프롬프트로 억지로 메우려 하지 않는다

프롬프트를 아무리 고쳐도 제대로 되지 않는 과제를 만나면, 먼저 규모를 한 단계 올려서 시도해 보세요. 한 단계 큰 모델에서 곧바로 맞는다면, 그동안의 복잡한 프롬프트는 규모의 빈틈을 메우고 있었을 뿐입니다. 이런 프롬프트는 대개 길고 취약해서, 모델이나 버전을 바꾸면 곧바로 무너집니다.

「갑자기 되기 시작했다」를 봐도 결론을 서두르지 않는다

앞에서 말한 논쟁은 자기 테스트에도 그대로 적용됩니다. 조금 더 느슨한 채점 기준을 하나 추가해 교차 검증하세요. 단계별로 점수를 주거나 필드별로 점수를 주는 식입니다. 두 자 모두에서 도약이 보여야 그 결론이 설 수 있습니다.

한 줄로 기억할 것:규모는 하나의 독립 변수이고, 따로 측정해 볼 가치가 있습니다. 예상하지 못한 능력을 가져다줄 수도 있고, 아무것도 주지 않을 수도 있습니다. 이 물음의 답은 오직 여러분 자신의 과제 위에서만 얻을 수 있습니다.

다음 순서

창발은 규모가 능력으로 바뀔 수 있음을 보여 줍니다. 동시에 질문 하나를 남깁니다. 큰 모델이 더 강하다면 업계 전체는 왜 그토록 모델을 작게 만들려 할까요? 수백 B를 몇 B로 압축할 때 잃는 것이 바로 이 절에서 다룬 부분입니다. 압축으로 얻는 것은 무엇이고 그 대가는 받아들일 만한지, 다음 절은 이 모순에서 출발합니다.