열 바퀴는 똑똑한데, 쉰 바퀴는요?
이 장은 Harness가 스스로 진화하게 하는 이야기예요. 멀게 들리죠. 하지만 모든 자기 개선의 전제는 먼저 오래 달릴 수 있는 Harness가 있는 것입니다. 언제 압축할지, 무엇을 절대 버리면 안 되는지, 어떤 결론을 디스크에 남길지. 이 세 가지 규칙은 오늘 바로 당신 Agent에 세울 수 있어요.
사용자가 「이야기하다 보니 멍청해졌어요」라고 말할 때, 뒤에는 아주 구체적인 곡선이 있어요. 컨텍스트 점유가 턴마다 올라가고, 가득 차면 시스템은 슬그머니 무언가를 버릴 수밖에 없습니다. 버리는 것은 대개 가장 이른 메시지, 즉 처음에 알려 준 가장 중요한 규칙들이에요.
연속 대화 20턴, 컨텍스트 점유는 어떻게 움직이나
규칙 세 가지, 기억 상실 세 종류
압축 임계값은 「터지고 나서야 처리」를 막습니다. 점유가 선에 닿으면 바로 압축하고, 에러를 기다리지 마세요.
절대 삭제 금지 목록은 「압축을 너무 세게 한」 경우를 막습니다. 사용자의 원문, 정해 둔 요구사항, 안전 제약 — 요약에 들어가면 되찾을 수 없으니 컨텍스트에 못 박아 두어야 합니다.
디스크에 남기는 노트는 「세션을 넘긴 기억 상실」을 막습니다. 중요한 결론을 파일에 쓰고, 다음에 시작할 때 먼저 그 파일을 읽어요. 이 장에서 말하는 「파일 시스템 영속 기억」이고, Harness 자기 개선의 출발점입니다. 지난번에 무엇을 배웠는지조차 기억해야 스스로를 개선할 수 있어요.
이 장의 실습 체크리스트
0 / 3 완료
기억을 잃기 시작한 그 턴을 찾기
15분 누구나AI와 나눈 가장 긴 대화를 꺼내 처음부터 끝까지 읽고, 앞에서 이미 말한 일을 처음 잊어버린 턴이 몇 번째인지 찾으세요. 그 숫자를 적어두면, 아무 관리도 없을 때 당신 Agent의 실제 주행 거리입니다.
무엇이 완료인가
장거리 규칙 세 가지를 쓰기
1시간 Agent가 긴 작업을 달려야 하는 사람당신 시나리오에 맞춰 세 규칙을 구체적으로 쓰세요. 점유가 몇 퍼센트에 닿으면 압축할지, 어떤 내용은 절대 압축 구간에 넣지 않을지(목록으로. 「중요한 내용」 같은 빈말은 쓰지 마세요), 어떤 결론을 파일로 남길지. 다 쓰면 Agent 설정이나 시스템 프롬프트에 붙여 넣으세요.
무엇이 완료인가
「디스크에 남기고 다시 읽어오기」를 한 번 통과시키기
반나절 세션을 넘겨 일해야 하는 사람Agent가 일을 끝낸 뒤 결론을 고정 파일(작업 노트라고 부르세요)에 쓰게 한 다음, 세션을 닫고 완전히 새 세션을 열어 첫 문장으로 그 파일을 읽고 이어서 하게 하세요. 새 세션이 끊김 없이 이어지면, 이 장에서 말한 구조화 노트 패턴을 직접 구현한 것입니다. 가장 소박하고 가장 쓸모 있는 장기 기억이에요.