비용 최적화
동적 타임스탬프：가장 비싼 System Prompt
작은 설계 실수 하나가 KV Cache를 완전히 무효화하고 매 대화 비용을 두 배로 만들 수 있습니다：System Prompt에 동적 시간을 쓰는 것입니다.
잘못된 설계 vs 올바른 설계
❌ 잘못된 설계
System: 당신은 어시스턴트입니다.
현재 시간: 2026-04-10 14:35:22
...
0%
캐시 히트율
+100%
추가 비용
✅ 올바른 설계
System: 당신은 어시스턴트입니다.
（시간 미포함）
User: [2026-04-10] 도와주세요...
~95%
캐시 히트율
-70%
비용 절감
실시간 비교 시뮬레이션
실시간 비교
--:--:--
초당 1회 요청 발송
❌ 동적 타임스탬프（초 단위）
System: 당신은 어시스턴트입니다.
현재 시간: --:--:--
...
현재 시간: --:--:--
...
⏳ 요청 대기 중...
✅ 정적 System Prompt
System: 당신은 어시스턴트입니다.
（시간 미포함）
User: [--] ...
（시간 미포함）
User: [--] ...
⏳ 요청 대기 중...
0
총 요청 수
0
좌측 Cache Miss
0
우측 Cache Hit
—
우측 비용 절감
시작 후 매초 자동으로 요청을 발송하며 양측의 KV Cache 히트 차이를 관찰합니다
다른 흔한 캐시 킬러들
다른 흔한 KV Cache 킬러들：
System Prompt를 매번 다르게 만드는 모든 내용은 캐시를 완전히 무효화합니다.
🔒
원칙：System Prompt = 고정 접두사. 동적 내용（시간, 사용자 정보, 랜덤 콘텐츠）은 User 메시지에 넣고, System Prompt에 넣지 마세요.