컨텍스트 관리
대화가 길어질수록 비용이 늘고 성능이 떨어집니다
매 대화 턴마다 전체 대화 기록을 모델에 다시 전송합니다. 대화가 길어질수록 비용이 높아지고, 주의력이 분산되며, 컨텍스트 윈도우 한계에 가까워집니다. 이 세 가지 문제가 명확히 보여주는 것은: 컨텍스트를 그냥 방치해서는 안 된다는 것입니다.
컨텍스트를 반드시 관리해야 하는 세 가지 이유
길수록 비용 증가
매 턴마다 전체 기록을 재전송해야 하므로 Token 소비가 턴마다 늘어나고 비용이 눈덩이처럼 불어납니다
길수록 주의력 저하
주의력이 앞뒤는 강하고 중간은 약해서, 중간 내용이 가장 쉽게 무시됩니다
길수록 위험 증가
컨텍스트 윈도우에는 상한이 있어서, 가득 차면 가장 오래된 정보가 바로 삭제됩니다
대화는 무료 스트림이 아닙니다: 길수록 비용이 늘고, 주의력이 떨어지며, 더 위험해집니다. 컨텍스트 관리는 AI 제품의 기본기이며, 선택 사항이 아닙니다.