成本优化
语义层优化:不要把上下文窗口当垃圾桶
信息密度越高 → 注意力越集中 → 效果越好。三个语义层策略,让每个 Token 都有价值。
为什么不能无限塞内容
为什么不能无限塞内容?
① 贵而慢:注意力复杂度 O(N²),Prompt 翻倍 → 计算翻四倍
② 效果差:模型对中间内容注意力最弱,关键信息被淹没
三个优化策略
互动演示
动态 Few-Shot:Text-to-SQL 演示
信息密度越高 → 注意力越集中 → 效果越好。三个语义层策略,让每个 Token 都有价值。