오픈소스 특집 · 대규모 모델을 작게 만드는 법

증류의 대가: 모델들이 점점 서로 닮아간다

지난 절에서 증류는 학생이 교사를 배우는 것이라고 했습니다. 문제는 학생이 배우는 것이 교사의 전부라는 데 있습니다. 실력, 말버릇, 편향, 심지어 자기 정체성에 대한 인식까지요. 업계 전체가 소수의 교사에게서 배우면, 결과는 다들 점점 닮아가는 것입니다.

먼저 연구가 뭐라고 하는지 봅니다

Generative Monoculture in Large Language Models

Wu & Black · arXiv:2407.02209 · 2024

여러 모델을 같은 베이스에서 증류한 뒤에는 출력의 다양성이 뚜렷하게 떨어진다는 것을 확인한 연구입니다. 서평 작성이나 코드 생성처럼 본래 합당한 답이 여러 가지일 수 있는 과제에서, 서로 다른 모델이 내놓은 결과가 크게 수렴했습니다. 저자들은 이 상태를 「단일 문화」라고 표현했습니다.

Measuring and Understanding LLM Identity Confusion

Xu et al. · arXiv:2411.10683 · 2024-11

모델 27개를 대상으로 한 연구로, 그중 25.93%에서 정체성 혼동이 나타났습니다. 「너는 누구냐」고 물으면 자신이 다른 모델이라고 잘못 주장하는 현상입니다. 저자들은 이런 오류가 사용자 신뢰에 주는 타격이 일반적인 논리 오류보다 크다는 점도 지적했습니다.

두 논문 모두 위 번호로 arXiv에서 공개 검색이 가능합니다. 확인일 2026-08-07.

업계에서 공개된 논란

남의 모델을 증류하는 것이 선을 넘는 일인지에 대해서는 아직 합의가 없지만, 공개된 의혹 제기는 이미 있었습니다.

Anthropic은 어떤 업체가 Claude를 「산업적 규모」로 증류한 사실을 발견했다고 공개적으로 밝힌 바 있습니다. OpenAI도 DeepSeek이 GPT 계열을 증류해 능력을 얻었다고 의혹을 제기한 적이 있습니다. 모두 한쪽의 주장이며, 지목된 쪽은 인정하지 않았고 제3의 기관이 판정을 내린 것도 아닙니다. 여기 실은 이유는 한 가지를 말하기 위해서입니다. 이 분야의 경계는 아직 형성 중이고, 각사의 서비스 약관은 대체로 자사 출력을 경쟁 제품 훈련에 쓰는 것을 금지하지만, 기술적으로 증거를 잡기는 매우 어렵습니다.

Anthropic의 공개 성명 및 로이터 등 언론 보도에 근거합니다. 여기서는 논란의 존재만 기술하며, 의혹 자체에 대한 사실 인정은 하지 않습니다. 확인일 2026-08-07.

직접 관찰할 수 있는 세 가지 증상

증상 1

말버릇이 통째로 대물림된다

특정 문형이 선두 모델 하나에서 자주 나타나면, 그 뒤로 수많은 모델에서 동시에 튀어나와 AI 글쓰기를 알아보는 지문이 됩니다.

전형적인 문형 「이것은 단순히 기술적 문제가 아니라, 제품의 문제입니다」
「이 주제를 좀 더 깊이 파헤쳐 봅시다」
「주목할 점은, 여기에 몇 가지 핵심이 있다는 것입니다」

증상 2

서식 습관이 대물림된다

어떤 모델은 한국어 문장에서 명사마다 영어 표기를 덧붙이는 습관이 있고, 그 모델을 배운 모델도 상황이 전혀 그럴 필요가 없는데 똑같이 씁니다.

전형적인 출력 「이 개념(Concept)은 매우 중요하며, 우리는 성능(Performance)과 안전성(Safety)에 주의해야 합니다」

증상 3

정체성까지 배워버린다

가장 노골적인 경우입니다. 모델에게 누구냐고 물으면 교사의 이름을 대는 일이 있습니다.

대화 사용자: 당신은 어떤 모델인가요?
모델: 저는 OpenAI가 개발한 ChatGPT입니다…(실제로는 다른 회사의 제품)

이건 버그가 아니라 증류의 필연적인 결과입니다. 훈련 데이터가 교사의 출력이니, 교사가 말하는 방식대로 학생도 말합니다. 능력만 물려받고 습관은 물려받지 않는 건 불가능합니다. 훈련 데이터 안에서 이 둘은 애초에 분리되지 않기 때문입니다.

생태계가 집중될수록 이 문제는 더 뚜렷해집니다

이 장 앞부분에서 어떤 오픈소스 계열의 파생 모델 수가 이미 20만 개를 넘었다고 언급했습니다. 생태계 관점에서는 영향력의 증거지만, 각도를 바꿔 보면 동시에 20만 개의 모델이 같은 기저 가정을 공유한다는 뜻입니다.

베이스 모델에 있는 편향, 지식의 공백, 표현 성향은 증류 사슬을 따라 한 층씩 내려갑니다. 상류에서 훈련 전략 하나를 바꾸면 하류의 수만 개 모델이 따라 바뀝니다. 이런 구조에는 소프트웨어 공학에서 익숙한 이름이 있습니다. 단일 지점 의존입니다.

제품에 가장 직접적인 영향: 다중 모델 교차 검증이 가짜일 수 있습니다. 많은 팀이 서로 다른 업체의 모델 두세 개를 동시에 호출하고 서로 검증하게 해서 오류 확률을 낮춥니다. 이 방식이 성립하는 전제는 그들이 서로 다른 실수를 한다는 것입니다. 이 모델들의 계보를 거슬러 올라가 같은 교사에 닿는다면, 같은 자리에서 함께 틀릴 가능성이 큽니다. 그것도 똑같은 방식으로요. 이때 교차 검증이 주는 것은 안전감이 아니라 거짓 안전감입니다.

기우처럼 들리겠지만, 직접 한 번 해보기 전까지만 그렇습니다. 아래는 서로 다른 회사에서 나온 제품 여섯 개로, 이름도 업체도 홍보 문구도 전부 다릅니다.

무엇을 할 수 있는가

선정할 때 계보를 확인하기

모델 카드에는 보통 베이스가 무엇인지 명시되어 있습니다. 다중 모델 이중화를 설계할 때는 업체 이름만 다른 조합이 아니라, 베이스가 다른 조합을 우선하세요.

제품 차별화를 모델 계층에 두지 않기

경쟁력이 「우리 답변 품질이 더 좋다」에서 나온다면, 그리고 모두가 계보가 비슷한 모델을 쓰고 있다면 그 우위는 견고하지 않습니다. 진짜 차이는 보통 데이터, 워크플로, 그리고 해당 시나리오에 대한 이해에서 나옵니다.

말버릇을 관리해야 할 문제로 취급하기

제품에 브랜드 톤 요구가 있다면, 기본 출력에는 거의 틀림없이 상류의 표현 습관이 묻어 있습니다. 이건 프롬프트 제약과 후처리로 고쳐야 하고, 모델을 바꿔서 해결되기를 기대하는 건 대개 소용없습니다. 다들 그러니까요.

이 장의 전반부에서 오픈소스가 무엇인지, 모델이 어떻게 작아지는지, 그 대가가 어디에 있는지를 정리했습니다. 다음 두 절은 직접 해봅니다. 먼저 내 기기가 얼마나 큰 모델을 돌릴 수 있는지 계산하고, 그다음 실제로 돌려봅니다.