강의 마무리
강의 총정리 · PM을 위한 첫 번째 AI 수업
오늘 무엇을 배웠습니까? 이 네 가지를 가져가세요: LLM 기초, Prompt 엔지니어링, Agent와 비용, 안전 및 컴플라이언스.
네 가지 모듈 복습
모듈 1 · LLM은 어떻게 만들어지는가
인지 직관 구축
핵심 개념
대화는 학습이 아닙니다
학습이 끝나면 파라미터는 고정됩니다. 매번 대화할 때 모델은 기억하거나 더 똑똑해지지 않습니다. 요금은 질문 수가 아닌 Token 수로 청구됩니다.
핵심 개념
환각은 구조적 문제입니다
모델이 하는 일은 다음 Token을 예측하는 것이지 실제 데이터베이스를 조회하는 것이 아닙니다. 지식 마감일, 자신 있는 날조, 사실 혼동 — 이 세 가지 환각 유형은 제거할 수 없고 완화만 가능합니다.
완화 방안
RAG: 실제 문서를 컨텍스트에 주입
매번 대화 시 관련 문서를 Prompt에 삽입하여 자료를 보면서 답하게 합니다. 모델이 새 지식을 학습한 것이 아닙니다.
흔한 오해: AI가 매번 대화할 때마다 학습하고 발전한다고 생각하는 것
모듈 2 · 효과적인 Prompt 작성법
AI가 원하는 대로 출력하게 만들기
System Prompt
말하는 대로 변합니다
System Prompt는 역할, 어조, 제약을 정의합니다. 같은 모델이라도 Prompt가 다르면 출력이 천차만별입니다 — 이것이 제품 차별화의 핵심입니다.
Few-Shot
설명보다 예시가 효과적입니다
어떻게 해야 하는지 설명하는 것보다 직접 2~3개의 예시를 제공하세요. 모델은 예시에서 원하는 형식과 스타일을 추론합니다.
CoT 사고 연쇄
먼저 생각하고 나서 답하게 하기
복잡한 태스크에 "단계별로 분석해 주세요"를 추가하면 정확도가 크게 향상됩니다. 모델이 추론 과정을 작성한 후 답을 내게 합니다.
흔한 오해: Prompt는 짧을수록 좋다. 실제로는 설명이 명확할수록 출력이 안정적입니다
모듈 3 · AI가 할 수 있는 것 · 비용
자동화와 비용 인식
Agent
계획하고, 도구를 사용하고, 행동합니다
Agent = Plan + Tool + Memory + Act. 단순한 채팅이 아니라 API를 호출하고, 파일을 쓰고, 루프를 실행할 수 있습니다. 하지만 실패하고, 막히고, 스캐폴딩이 필요하기도 합니다.
비용
다중 턴 대화는 지수적으로 증가합니다
매 턴마다 전체 히스토리를 포함 → Token이 쌓일수록 비용이 증가합니다. 10턴 대화의 비용은 첫 턴의 5~10배에 달할 수 있습니다.
최적화
5단계 비용 최적화 프레임워크
모델 라우팅 → 문법 계층 → 의미 계층 → 출력 계층 → KV Cache. 종합 적용 시 비용을 70~90% 절감 가능 — 마법이 아니라 엔지니어링 설계입니다.
흔한 오해: AI 비용은 고정적이라고 생각하는 것. 실제로는 설계 결정이 비용을 결정합니다
모듈 4 · 안전, 컴플라이언스, 레드라인
제품에서 가드레일을 세워야 할 곳
Prompt 인젝션
사용자 입력이 당신의 지시를 덮어쓸 수 있습니다
모델이 보는 것은 하나의 연속된 메시지이며, System Prompt와 사용자 입력을 구분하지 못합니다. 악의적인 사용자는 이 취약점을 이용해 모델 동작을 바꿀 수 있습니다.
3단계 방어
입력 계층 → Prompt 계층 → 출력 계층
입력 계층은 키워드를 필터링하고, Prompt 계층은 제약 선언을 추가하며, 출력 계층은 유출 콘텐츠를 감지합니다. 세 계층 모두 필요하며, 하나라도 빠지면 취약점이 생깁니다.
제품 레드라인
AI가 말하면 안 되는 것은 차단하세요
컴플라이언스 경계, 브랜드 리스크, 경쟁사 정보: 이것들은 모델의 자체 판단에 맡길 수 없습니다. 제품 계층에서 기술적 수단으로 차단해야 하며, Prompt 제약만으로는 부족합니다.
흔한 오해: Prompt에 "말하지 마라"고 쓰면 안전하다고 생각하는 것
이미 습득한 역량