강의 마무리
총정리 (하) · 실전 + 비용
강의 총정리 2/2: 모듈 3 「AI가 할 수 있는 것과 비용」은 자동화와 비용 인식을 구축하고, 모듈 4 「보안, 컴플라이언스, 레드라인 인식」은 제품의 어디를 방어해야 하는지 알려줍니다.
모듈 3
모듈 3 · AI가 할 수 있는 것 · 비용은?
자동화 & 비용 인식
Agent 개념
계획하고, 도구를 사용하며, 자율적으로 행동할 수 있다
Agent = Plan + Tool + Memory + Act. 단순 채팅이 아니라 API 호출, 파일 작성, 반복 실행이 가능합니다. 하지만 실패하거나 무한 루프에 빠질 수 있어 스캐폴딩이 필요합니다.
비용 인식
멀티턴 대화는 지수적으로 증가한다
매 턴마다 전체 히스토리를 가져가므로 → token이 쌓일수록 비용이 증가합니다. 10턴 대화 비용은 1턴의 5~10배가 될 수 있으며, 압축 전략을 능동적으로 설계해야 합니다.
비용 최적화
5단계 프레임워크로 70~90% 비용 절감
모델 라우팅(단순 작업엔 경량 모델) → 구문 레이어(형식 간소화) → 의미 레이어(내용 압축) → 출력 레이어(출력 제한) → KV Cache(고정 접두사).
주요 오해: AI 비용이 고정되어 있다고 생각하는 것입니다. 실제로는 제품 설계 결정이 비용의 높낮이를 결정합니다.
모듈 4
모듈 4 · 보안, 컴플라이언스 & 레드라인 인식
제품의 어디를 방어해야 하는가
Prompt 인젝션
사용자 입력이 시스템 지시를 덮어쓸 수 있다
모델은 하나의 Message만 봅니다 — 시스템 지시와 사용자 입력을 구분할 수 없습니다. 악의적인 사용자는 정교하게 구성된 입력으로 모델이 원하지 않는 일을 하게 만들 수 있습니다.
3중 방어
입력 레이어 → Prompt 레이어 → 출력 레이어
입력 레이어: 키워드 및 비정상 구조 필터링; Prompt 레이어: 역할 고정 및 제약 선언 추가; 출력 레이어: 시스템 Prompt 유출 여부 감지. 세 레이어 모두 필요하며, 하나가 빠지면 취약점이 생깁니다.
제품 레드라인
「금지」를 써놓는 것만으로는 안전하지 않다
컴플라이언스 경계, 브랜드 리스크, 경쟁사 정보: Prompt에 「말하지 마시오」라고 쓰는 것은 첫 번째 방어선일 뿐이며 언제든 우회될 수 있습니다. 제품 레이어에서 기술적 차단이 반드시 필요합니다.
이제 당신이 갖춘 능력
LLM 원리 이해
할루시네이션 식별 & 완화
효과적인 Prompt 작성
Agent 아키텍처 이해
비용 인식 구축
안전 레드라인 숙지
강의 완전 완료 · PM을 위한 첫 번째 AI 강의 수료를 축하합니다