환각과 대처법
LLM 환각 (Hallucination)
모델은 사실을 알지 못합니다 — 단지 확률적 샘플링을 수행할 뿐입니다. 모델이 얼마나 자신 있게 허구를 생성하는지 확인해 보세요: 사례를 선택하고 「생성 시작」을 클릭하면 Token 단위로 환각이 발생하는 과정을 관찰할 수 있습니다.
Prompt 선택
CASE 1 · 혼동 귀속
黛玉捧着月光宝盒,轻声问:
月光宝盒(달빛 보물상자)는 紫霞의 소품인데, 모델은 공출현 가중치만 보고 소유자를 알지 못합니다. (중국 고전 크로스오버 사례)
CASE 2 · 크로스유니버스 혼합
花千骨对郭靖急道:靖哥哥,
花千骨과 郭靖은 전혀 다른 작품의 캐릭터인데, 모델은 두 세계관을 넘나드는 대화를 유창하게 이어 씁니다. (중국 고전 크로스오버 사례)
CASE 3 · 사실 날조
女儿国国王望着杏花簪叹道:
杏花簪(살구꽃 비녀)은 沈眉庄의 소품인데, 모델은 이를 女儿国 국왕에게 잘못 배분합니다. (중국 사극 사례)
CASE 4 · 캐릭터 붕괴
小龙女转头对杨过急道:
小龙女는 냉정하고 담담한 캐릭터라 다급하게 말하지 않지만, 모델은 캐릭터를 이해하지 못하고 단어 빈도만 봅니다. (중국 무협 사례)
CASE 5 · 코드 환각 API
pandas로 DataFrame을 여러 열 기준 안정 정렬하기:
모델은 존재하지 않는 파라미터 조합을 생성합니다. 코드는 진짜처럼 보이지만 API는 그렇게 사용하지 않습니다.
CASE 6 · 일상 대화 환각
안녕하세요, 밥 먹었어요?
AI는 입이 없지만 「먹었어요」라고 말하고 「토마토 달걀 국수」까지 만들어냅니다. 확률적 이어쓰기가 실제로 존재하지 않는 역할을 연기하게 합니다.
단계별 생성 과정
느림
보통
빠름
← Prompt를 선택하고 「생성 시작」을 클릭하세요
근본 원인: 두 개의 분리된 세계
📚 모델 파라미터 (장기 기억)
학습 시 기록되고 추론 시 읽기 전용입니다. 지식 마감일이 있으며, 지식이 압축 형태로 저장되어 부정확하고 업데이트할 수 없습니다.
비유: 봉인된 백과사전
비유: 봉인된 백과사전
💬 컨텍스트 윈도우 (작업 기억)
대화 중 동적으로 주입되며 정확하고 신뢰할 수 있습니다. 시스템 Prompt, 파일, 현재 대화 내역을 포함합니다.
비유: 책상 위의 참고 자료
비유: 책상 위의 참고 자료
⚠ 모델에는 「모른다」는 개념이 없습니다 — 이어 쓰기만 할 수 있습니다. 파라미터에 답이 없을 때 「그럴 것 같은」 내용을 생성하며, 정보가 부정확해도 신뢰도는 낮아지지 않습니다