上下文管理
压缩是一门取舍的艺术
上下文太长了怎么办?全删或全留都不对:有的能删(旧工具输出)、有的不能删(用户原话)、有的要花钱压(全量摘要)。产品经理需要一个决策框架。
上下文压缩模拟器
一段 8 轮对话,试试不同的压缩策略
决策框架
可以删
旧的工具调用结果
已处理完的中间步骤
重复的确认消息
已处理完的中间步骤
重复的确认消息
可以压缩
AI 的长篇回复
多轮讨论的结论
搜索/查询的详细结果
多轮讨论的结论
搜索/查询的详细结果
不能动
用户的原始消息
System Prompt
关键的偏好设定
System Prompt
关键的偏好设定
压缩不是全删或全留,是在信息价值和 token 成本之间找平衡。好的压缩策略像一个有经验的编辑:知道什么是废话可以砍,什么是用户的原话必须留。