기초 원리

GPT의 도약

PreTraining이 왜 모든 것을 바꿨는가: CNN/RNN/BERT에서 GPT까지 — 대형 언어 모델 역사상 가장 중요한 한 걸음.

대형 언어 모델의 발전사

GPT 이전에는 모두가 태스크 전용 모델을 만들고 있었습니다.
GPT의 등장은 진정한 도약이었습니다.

CNN, RNN, BERT는 모두 태스크를 먼저 정하고 나서 모델을 훈련했습니다.
GPT는 이를 뒤집었습니다: 방대한 텍스트 코퍼스로 먼저 사전 학습(PreTraining)하고, 이후 태스크에 적응시킵니다.

CNN / RNN / BERT

→

도약

GPT (PreTraining)

PreTraining의 본질

      인터넷의 거의 모든 텍스트로 Token 예측 훈련을 수행합니다.

      모델은 문법, 상식, 사실, 논리, 문체를 강제로 학습하게 됩니다…

      이 모든 것은 다음 Token 예측이라는 목표의 부산물입니다.

왜 이것이 도약인가요?

      이전: 태스크마다 처음부터 훈련 — 태스크가 바뀌면 모델도 교체

      GPT: 한 번 사전 학습으로 임의의 태스크에 능력 이전

      이것이 바로 Foundation Model(기초 모델)의 핵심 아이디어입니다.

알고리즘 인터랙티브 체험: 4세대 모델의 차이를 직접 느껴보세요

윈도우 크기 3

CNN의 한계: 윈도우 안의 Token만 볼 수 있으며, 윈도우 밖의 관계는 전혀 보이지 않습니다.
「哥哥」(오빠)와 문장 앞의 「紫霞」(즈샤)의 관계? CNN은 한 번에 포착할 수 없습니다.
(예시: 중국어 문장 "紫霞捧着月光宝盒，轻声问：哥哥" — "즈샤는 월광보함을 안고 조용히 물었습니다: 오빠")

각 Token의 잔존 메모리 강도 (RNN이 현재 Token을 처리할 때)

← 이전 Token일수록 메모리가 약해집니다; 현재 처리 중인 Token = 100%

RNN의 한계: 은닉 상태는 매 단계마다 새로운 Token으로 덮어쓰이므로, 이전 Token일수록 기억이 흐려집니다. 긴 텍스트 처리 시 「기울기 소실」: 앞부분의 정보가 뒷부분에서는 거의 사라집니다.

아무 Token 클릭 → 히트맵 밝기 = 어텐션 가중치, 노란색=왼쪽 초록색=오른쪽 보라색=자기 자신

← 위의 아무 Token을 클릭하여 양방향 어텐션 히트맵을 확인하세요

왼쪽 Token (BERT 참조 가능) 오른쪽 Token (BERT 참조 가능) 자기 자신

BERT의 한계: 양방향 어텐션으로 이해 능력은 강하지만, 사전 학습 목표가 「빈칸 채우기」이므로 텍스트 생성에는 적합하지 않습니다.

GPT 단방향 인과적 생성 · 왼쪽만 참조하여 단계적으로 생성

다음 Token 확률

「생성 시작」을 클릭하세요

GPT의 도약: 인과적 사전 학습 목표는 「다음 Token 예측」이며, 이는 생성과 자연스럽게 일치합니다. 별도의 태스크 데이터 없이도 규모가 커질수록 더욱 놀라운 창발 능력이 나타납니다.