환각과 대응
대응 4: 평가 + 인간 검토
PM 관점: 환각 리스크 수량화, 계층별 검토 프로세스 설계, Human-in-the-Loop를 제품 안전망으로 만드는 방법. 전략 04 / 04 · 탐지 + 수정.
PM이 설계해야 할 세 가지 단계
단계 1 · 출시 전
평가 기준선: 환각 테스트셋 구축
정답이 알려진 질문으로 모델을 테스트하고, 환각률을 수량화하여 허용 기준을 설정합니다.
단계 2 · 출시 후
계층별 검토: 고위험 콘텐츠 인간 감독
리스크 수준에 따라 자동 라우팅: 저위험은 바로 발송, 고위험은 인간 검토 후 발송.
단계 3 · 지속적 개선
오류 피드백 루프: 실서비스 데이터로 반복
검토 중 발견된 환각 사례를 Bad Case로 수집하여 모델 최적화와 Prompt 조정에 활용합니다.
PM 핵심 인사이트
PM 핵심 인사이트
환각률 ≠ 0: 모든 LLM은 환각을 일으킵니다. PM의 목표는 이를 비즈니스 허용 임계값 이내로 제어하는 것이며, 완전한 제거는 비현실적입니다.
고위험 = 인간 안전망: 의료·법률·금융 시나리오에서는 AI가 초안만 작성하고, 최종 확인은 반드시 사람이 서명해야 합니다.
지표는 PRD에 명시: '환각률 < 3%'는 '로딩 시간 < 2s'처럼 측정 가능한 인수 기준이 되어야 합니다.