토큰이 뭔가요? AI는 왜 토큰으로 과금할까요?
청구서에는 「토큰 과금」이라고 적혀 있고, 뉴스에서는 「100만 토큰」이 심심하면 나와요. 그 「토큰」이 대체 뭘까요? 이 페이지에서 문장 하나를 직접 잘라 볼게요.
토큰(token)은 AI가 글을 읽고 쓰는 최소 단위로, 대략 작은 낱말 조각이에요. AI가 토큰 하나를 읽고 쓸 때마다 연산이 들어가니 개수로 과금해요. 논리는 택시의 거리 요금과 같아요: 멀리 갈수록 더 내는 거죠.
아래에 준비된 문장이 몇 개 있어요. 하나를 눌러 보세요. 알록달록한 조각으로 잘리는 게 보일 거예요. 조각 하나가 토큰 하나이고, 아래 카운터와 요금이 실시간으로 따라 뛰어요.
택시가 거리로 요금을 매기는 건, 1킬로미터를 갈 때마다 실제로 기름이 타기 때문이에요. AI도 같아요: 토큰 하나를 읽고 뱉을 때마다, 데이터센터의 GPU가 한 바퀴 연산을 하고 전기를 써요. 개수로 받는 게 실제 비용에 가장 가까운 셈법이에요. 그리고 기억하세요, 청구서는 양쪽을 함께 셉니다:
여러분이 보내는 것(입력)
여러분이 친 글자 하나, 붙여 넣은 자료 한 단락도 토큰 단위로 읽어야 해요. 읽는 데도 돈이 들어요.
그것이 돌려주는 것(출력)
그것이 쓰는 글자도 토큰 단위로 계산해 내요. 쓰는 데도 돈이 들고, 단가는 보통 더 비싸요. 「쓰기」가 「읽기」보다 힘드니까요.
위 토크나이저로 중국어 문장과 영어 문장을 비교해 보세요: 중국어는 글자 하나둘이면 토큰 하나를 쓰는 경우가 많고, 영어는 꽤 긴 단어도 토큰 하나인 경우가 많아요. 그래서 같은 뜻을 말해도 중국어가 토큰을 더 많이 쓰는 경우가 흔해요. 모델이 「글자를 알아보는」 습관 때문이에요: 영어는 많이 봐 와서 익숙하게 자르고, 한자는 더 잘게 쪼갤 수밖에 없어요.
✅ 이 페이지에서 나누고 싶은 것
- 토큰은 과금의 알갱이: AI가 글을 읽고 쓰는 최소 단위, 대략 작은 낱말 조각
- 입력과 출력 모두 돈: 보내는 것도, 돌려받는 것도 돈이 들고, 후자가 보통 더 비싸요
- 같은 뜻이면 중국어가 더 비싼 경우가 많아요: 한자가 더 잘게 잘려 개수가 늘어나요
- 프롬프트를 짧게 쓰는 게 곧 절약: 토큰 하나를 아끼는 게 진짜 돈이에요