工程进阶 · 你现在能做什么
别再「感觉变好了」：搭你的第一个评测集
前三格你都是靠眼睛验收的，量小还行。但你马上会遇到那个经典困境：改了一版提示词，这三个用例变好了，那两个悄悄变差了，你没发现。Anthropic 说「不评测就是在裸奔」。这一格给你的 Agent 穿上衣服。
实战主线第四格：能干活了，现在要让每次改动都有据可依。
M0
想清楚它替你干什么
M1
能稳定说人话
M2
能动手干活
M3
改好改坏能量化
M4
长跑不失忆
M5
过程可复现
先看清楚 · 同一次改动，五条用例各有各的命
评测集不神秘，就是一堆固定的输入，各配一条「什么算过」的标准。神奇的地方在于跑分那一刻：你以为的全面提升，往往是三条升两条降。没有评测集，那两条降的你永远看不见。
改提示词前后，跑同一套用例
#1
常规周报，三段结构正确
过
#2
带数字的月报，数字全对
过
#3
超长文档，漏掉了后半段的关键结论
挂
#4
短文档，正常总结
过
#5
信息缺失时编了一个数字
挂
3 / 5 条用例通过
第一版提示词的基线：3 / 5。长文档和缺信息这两类用例挂了。记住这个数，它是后面所有改动的参照物。
评测的三个坑，这一章都讲过
一是跑分时顺手改用例。用例一改，前后分数就没法比了，加用例可以，改用例要全量重跑基线。
二是只看总分。4/5 比 3/5 好？先看挂的那条是不是原来能过的。
三是标准写成「回答质量高」。这种标准没法判定，要写成「包含下周计划」「数字与原文一致」这种一眼能裁决的句子。判不了的，才轮到 LLM-as-Judge 出场。
动手清单 · 挑一个开始，勾掉它
这一章的动手清单
0 / 3 已完成
攒 10 条真实用例
15 分钟 所有人从你真实用过的输入里挑 10 条存进一个文件，一行一条。配比有讲究：七条日常、三条刁钻。刁钻的就从 M1 五连跑和 M2 卡死记录里捞，那些让它翻过车的输入最值钱。
什么算做完了
文件存在、10 条都是真实输入（不是你现编的），其中至少 2 条是它翻过车的。
给每条写通过标准，跑出基线分
1 小时 想让改动有据可依每条用例配一句「什么算过」，必须写成一眼能裁决的形式：「输出恰好三段」「结论里包含 XX」「没有编造原文以外的数字」。写完把 10 条全跑一遍，记下第一个基线分。
什么算做完了
任何人拿着你的标准和输出，判的结果都跟你一样。基线分记下来了，比如 6 / 10。
改一版提示词，用分数说话
半天 要持续迭代针对挂掉的用例改一版提示词，用例一条不动，全量重跑对比。重点盯两处：总分变了多少、有没有原来过的用例反而挂了。有退化不丢人，把退化那条和原因记下来。你已经在做 Anthropic 说的那套正经工程了。
什么算做完了
你能说出一句这样的话：「这版改动让分数从 6/10 到 8/10，代价是 #4 从过变挂，原因是新规则太保守。」说得出这句话，M3 就立住了。