模块八 · 成本优化 · 第 8 页
语义层优化：
不要把上下文窗口当垃圾桶
信息密度越高 → 注意力越集中 → 效果越好
为什么不能无限塞内容？
①
贵而慢
：注意力复杂度 O(N²)，Prompt 翻倍 → 计算翻四倍
②
效果差
：模型对中间内容注意力最弱，关键信息被淹没
1
动态 Few-Shot：别硬编码案例
用向量检索，每次只取最相关的 3 条
省 87.5%
2
长文档：先压缩再喂给 AI
LLMLingua-2 过滤冗余，保留语义核心
压缩 5-20x
3
关键信息放首尾，别放中间
利用模型注意力的"首尾偏好"特性
效果↑↑
动态 Few-Shot：Text-to-SQL 演示