Agent 엔지니어링
장기 기억: 벡터 검색
Agent가 지난달 일을 기억하게 합니다: 벡터 검색을 통해 사용자 선호도, 프로젝트 설정, 이전 Bug를 현재 대화에 주입합니다.
비유 하나
단기 기억 = 당신의 책상
컨텍스트 윈도우, 올려둘 수 있는 정보에 한계가 있습니다
→
장기 기억 = 당신의 서류 캐비닛
벡터 데이터베이스, 필요할 때 관련 파일을 검색해 책상 위에 올려놓습니다
책상에 모든 것을 올려둘 수는 없지만, 언제든 캐비닛에서 가장 관련성 높은 파일을 꺼낼 수 있습니다
인터랙티브 데모: 질문을 클릭하여 검색 과정을 관찰하세요
🗄 记忆库
8개 기억 항목
클릭하여 다양한 사용자 질문을 시뮬레이션하세요
🔍 벡터 검색 과정
—
세 가지 설계 결정
📌 설계 결정 ①
어떤 정보를 장기 기억에 저장해야 할까요? 사용자 선호도, 프로젝트 설정, 이전 Bug, 자주 사용하는 작업 — 이것들이 Agent의 개인화 수준을 결정합니다.
어떤 정보를 장기 기억에 저장해야 할까요? 사용자 선호도, 프로젝트 설정, 이전 Bug, 자주 사용하는 작업 — 이것들이 Agent의 개인화 수준을 결정합니다.
📌 설계 결정 ②
기억 검색 품질은 Embedding 모델에 달려 있습니다. 「로그인 API 수정」과 「로그인 API 동시 접속 500 오류」를 같은 기억 항목에 매칭할 수 있을까요?
기억 검색 품질은 Embedding 모델에 달려 있습니다. 「로그인 API 수정」과 「로그인 API 동시 접속 500 오류」를 같은 기억 항목에 매칭할 수 있을까요?
📌 설계 결정 ③
기억이 너무 많아도 문제입니다: topK=5는 한 번에 최대 5개만 소환합니다. 가장 중요한 기억이 항상 상위에 오도록 어떻게 보장할까요?
기억이 너무 많아도 문제입니다: topK=5는 한 번에 최대 5개만 소환합니다. 가장 중요한 기억이 항상 상위에 오도록 어떻게 보장할까요?
Takeaway
Takeaway 단기 기억(컨텍스트 윈도우)은 Agent가 현재 대화를 기억하게 하고, 장기 기억(벡터 검색)은 Agent가 지난달 일을 기억하게 합니다. 둘이 협력해야 Agent가 진정한 어시스턴트처럼 작동합니다: 지금 무엇을 하는지 이해하면서 과거의 선호도도 기억합니다.