장기 메모리

메모리 주입의 비용 문제

메모리 1,000개를 저장했다면 — 매번 대화할 때 모두 system prompt에 넣을까요? 아니면 필요한 것만 골라 검색할까요? 전량 주입은 단순하지만 비싸고 노이즈가 많습니다; 필요 시 검색은 비용을 아끼지만 누락 위험이 있습니다.

슬라이더를 드래그하여 메모리 수량의 영향을 체험해 보세요
메모리 수량 100개
10개 100개 1,000개 10,000개
전량 주입 (모두 Prompt에 넣기)
주입 토큰 수—
호출당 비용—
노이즈 비율—
구현 복잡도 매우 단순
필요 시 검색 (관련 항목만 주입)
주입 토큰 수—
호출당 비용—
노이즈 비율—
구현 복잡도 검색 시스템 필요
권장 전략
메모리 주입 권장 방법
사용자 메시지 전송
새 대화 시작
→
시맨틱 검색
관련 메모리 탐색
(3~10개)
→
정밀 주입
관련 항목만
system prompt에 넣기
→
모델 응답
컨텍스트가 있는
고품질 답변
핵심 원칙: 메모리의 가치는 매번 가장 관련성 높은 몇 가지를 꺼내는 데 있습니다 — 얼마나 많이 저장했는지는 중요하지 않습니다. 전량 주입은 메모리가 적을 때는 가능하지만, 메모리가 늘어날수록 필요 시 검색이 유일한 확장 가능한 방법입니다.
메모리는 많을수록 좋은 것이 아닙니다. 1,000개를 전부 넣으면 AI가 오히려 핵심을 찾지 못합니다. 좋은 메모리 시스템은 유능한 비서와 같습니다: 파일 캐비닛 전체를 회의실로 옮기는 것이 아니라, 오늘 회의에 필요한 서류 세 가지만 미리 책상 위에 놓아두는 것입니다.