프로그래밍 기초편 · 탐색과 의사결정

탐욕과 샘플링: AI가 단어를 고를 때의 두 성격

LLM 원리편에서 AI가 토큰마다 이어 쓸 때 머릿속 후보 확률 막대를 봤고, Temperature 노브도 돌려 봤어요. 그때는 “체감”, 이번 강의는 알고리즘 이름을 붙입니다: 매 스텝 최댓값은 탐욕, 확률로 주사위는 샘플링. 같은 시작으로 두 성격이 세 번씩—차이가 한눈에 보여요.

같은 시작 · 두 성격

시작은 고정: “주말 계획은”. 위쪽 머신부터: 탐욕 모드(temperature=0), 매 스텝 확률 막대 중 제일 긴 것. 「다시 생성」을 세 번 누르고 아래 결과 목록을 보세요—글자 하나라도 다른가요?

😤 탐욕 모드

temperature = 0
주말 계획은
매 스텝 후보—늘 제일 긴 막대를 집어요
주사위도 서스펜스도 없음: 확률 최대가 승리

아래 머신: 샘플링 모드—매 스텝 확률로 가중 주사위. 먼저 0.7에서 세 번, 결과가 다른지 보고 1.2로—막대 모양 변화에 주목: 온도가 높을수록 막대가 비슷해져 비주류 단어가 뜰 기회가 커져요.

🎲 샘플링 모드

확률로 주사위
temperature
주말 계획은
온도 조정 후 확률—주사위는 이걸로
같은 후보표, 주사위로 고름—매번 다른 갈림길일 수 있어요
개념 카드 · 두 성격의 장부

😤 탐욕: 매 스텝 눈앞의 최댓값

빠르고, 안정적이고, 재현 가능—만 번을 돌려도 같은 문장. 치명적 맹점: 스텝마다 국소 최적이 모여도 전역 최적이 아닐 수 있어요. 첫 단어를 제일 자연스럽게 고르면 문장 전체가 막다른 골목에. 해법은? 다음 강의 Beam Search가 해독제—일단 여운만.

🎲 샘플링: 무작위에 구멍을 남기기

확실성을 다양성과 맞바꿉니다. 확률 주사위라 고확률 단어가 자주 뽑히고(그래서 자연스럽고), 저확률은 가끔 떠(그래서 놀랍고). 온도는 「놀라움」 예산: T가 높을수록 분포가 평평해져 비주류 단어가 더 과감해져요.

면접 한 줄 정답: temperature = 0이면 탐욕 디코딩—출력이 완전 확정; T가 높을수록 softmax가 평평해져 저확률 단어를 더 고르고, 다양성과 「헛짓」 위험이 함께 올라가요. LLM 원리편에서 돌리던 노브가 바로 탐욕과 샘플링 사이 위치입니다.
생활 속 탐욕파: 뷔페마다 지금 제일 비싼 접시만—연어, 스테이크, 킹크랩—배 부르면 시그니처 와규는 한 입도 못 먹어요. 스텝 최적 ≠ 전체 최적, 위장은 유한하고 컨텍스트 윈도우도 그래요.

이 강의가 전하고 싶은 것