장 요약
요약(하) · 완화 전략 + 의사결정 프레임워크
1장 · 정리 복습 · 하반부: 환각을 어떻게 완화할 것인지, 그리고 AI PM이 갖춰야 할 의사결정 프레임워크입니다.
3 · 네 가지 완화 전략
네 가지 완화 전략
시나리오에 따라 선택하고 조합하여 사용하세요
최우선 방법
Prompt Engineering
역할 + 제약 + 예시 + CoT. 비용이 가장 낮아 우선 사용합니다.
한계: 모델이 알지 못하는 새로운 지식을 주입할 수 없습니다.
한계: 모델이 알지 못하는 새로운 지식을 주입할 수 없습니다.
비공개 지식 / 실시간 데이터
RAG(검색 증강 생성)
청크 → Embedding → 벡터 검색 → Prompt 주입. "모델을 학습시키는 것"이 아니라 "런타임에 치트 시트를 건네는 것"입니다.
비용: 지연 + 검색 품질 + 유지보수.
비용: 지연 + 검색 품질 + 유지보수.
출력 다양성 조정
Temperature / Top-P
T=0 결정론적, T=1 일반 샘플링, T>1 더 무작위.
오해: 높을수록 더 똑똑한 게 아니고, 낮을수록 멍청한 게 아닙니다. 무작위성 제어일 뿐, 지능이 아닙니다.
오해: 높을수록 더 똑똑한 게 아니고, 낮을수록 멍청한 게 아닙니다. 무작위성 제어일 뿐, 지능이 아닙니다.
고위험 / 엄격한 컴플라이언스 시나리오
HITL 인간 검토
AI 생성 → 인간 검토 → 사용자에게 표시. 콜드 스타트 시기의 필수 안전망.
비용: 인건비 + 응답 지연.
비용: 인건비 + 응답 지연.
4 · AI PM 사고 모델
AI PM 사고 모델
이 판단을 가져가서 더 나은 프로덕트 결정을 내리세요
❌"Temperature를 높이면 더 똑똑해진다"
→더 무작위해질 뿐, 더 지능적인 게 아닙니다
❌"RAG = 모델에게 문서를 학습시키는 것"
→런타임에 컨텍스트를 임시로 주입할 뿐입니다
❌"모델이 API를 호출하고 있다"
→모델은 형식화된 텍스트를 출력할 뿐입니다
❌"재훈련으로 오류를 수정할 수 있다"
→Prompt를 먼저 시도하세요—비용이 100배 저렴합니다
Prompt로 충분
지식이 훈련 데이터에 있고, 형식/스타일/어조 문제인 경우
RAG 필요
비공개 지식베이스, 실시간 데이터, 지식 컷오프 이후 내용
파인튜닝 필요
고정된 전문 도메인 스타일, 추론 패러다임 변경 필요
HITL 필요
고위험 출력, 브랜드 평판, 의료/법률 컴플라이언스 요구사항
이것을 가져가세요
LLM의 본질은 초대형 확률 예측 기계입니다. 그 한계를 이해해야 비로소 강점을 올바르게 활용할 수 있습니다.