오래 대화하면 왜 「잊어버릴까요」?
1번째 턴에서 분명히 말한 일을, 20번째 턴에서는 전혀 못 들은 것처럼 답해요. 고장난 것도, 대충 넘기는 것도 아니에요. 그 문장이 이미 눈앞에 없을 뿐이에요.
AI에게는 무한한 기억이 없어요. 매번 답할 때 「작업대」에 올라간 최근 내용만 봐요. 자리(용어로는 「컨텍스트 윈도우(context window)」)가 가득 차면 가장 오래된 말이 밀려나요. 밀려난 부분은 이번 답변에 더 이상 참여하지 못해요.
AI 앞에 책상 하나가 있다고 상상해 보세요. 한 턴 대화할 때마다 쪽지 한 장이 올라가고, 그 턴에 오간 말이 적혀 있어요. AI가 답할 때는 지금 책상 위에 있는 쪽지만 내려다봐요. 책상은 그 크기뿐이에요. 쪽지가 가득 찬 뒤로는 새 쪽지가 올 때마다 가장 오래된 장이 밀려 떨어져요. 바닥에 떨어진 쪽지는 보이지도, 다시 주워 올리지도 못해요.
작업대 크기 = 컨텍스트 윈도우
모델마다 작업대가 크거나 작지만, 경계는 있어요. 가득 찬 건 가득 찬 거예요. 돈을 더 내도 아홉 번째 칸은 생기지 않아요.
쪽지 한 장 = 대화 한 턴
여러분이 한 말과 그것이 답한 말이 모두 자리를 차지해요. 긴 이야기, 잔뜩 붙여 넣은 자료는 더 많이 차지해서 작업대가 더 빨리 차요.
아래는 가상 대화예요. 1번째 턴에서 「땅콩 알레르기가 있어요」라고 알려 줬어요. 슬라이더를 오른쪽으로 끌어 턴을 늘리고, 작업대가 천천히 차는 걸 본 다음, 그 핵심 쪽지가 떨어진 뒤 저녁 추천이 어떻게 바뀌는지 보세요.
중요한 정보는 가끔 다시 말하세요
알레르기, 예산, 형식 요구 같은 핵심 설정은 십여 턴이 지난 뒤 한 번 더 말해 보세요. 쪽지를 작업대 맨 위에 다시 올려 두는 셈이에요.
긴 일은 새 대화를 열 때 요약을 가져가세요
한 대화에서 백 턴을 이어가기보다, 먼저 현재 진행을 요약하게 한 뒤 그 요약을 새 대화에 붙여 넣으세요. 작업대가 깨끗하면 답도 더 안정적이에요.
잊어버렸다고 다투지 마세요
바닥에 떨어진 쪽지는 다시 펼쳐 볼 수 없어요. 핵심 정보를 다시 보내 주세요. 「잊었어?」를 세 번 묻는 것보다 훨씬 나아요.
✅ 이 페이지에서 나누고 싶은 것
- 잊어버리는 건 용량 문제: 고장난 게 아니라, 작업대가 가득 차 가장 오래된 말이 밀려난 거예요
- 매번 답할 때는 윈도우 안만 봐요: 떨어진 부분은 말하지 않은 것과 같아요
- 중요한 설정은 다시 말하세요: 가끔 한 번 더 말해, 쪽지를 작업대에 다시 올리세요
- 긴 대화는 제때 다시 여세요: 먼저 요약을 받게 한 뒤, 그 요약을 들고 새 대화를 여세요