PART 5 · Harness 与自我改进

未来挑战：自我改进的七道关

研究者取得了真正的进展，但通往完整递归自我改进的路上，还有若干瓶颈。

Reality Check

自动研究：能写论文 ≠ 能做科学

AI Scientist 证明了专家设计的 Harness 能协调自动研究循环的大部分环节——但论文产出并不等于科学发现。系统可以写出看似合理的论文，却可能包含虚假引用、实现漂移或薄弱的实验结果。
💬 说人话：AI 现在能写出"看起来像论文的东西"，但就像一个只会套模板的实习生——格式对了、引用全了，可实验可能是错的、结论可能是编的。下面这六种毛病，是研究者反复观察到的"实习生通病"。

六种反复出现的失败模式

Trehan & Chopra (2026) 系统测试了 LLM 从想法到论文的全流程能力，发现了六种反复出现的失败模式——这些不是偶发 Bug，而是当前自动研究的结构性瓶颈。

1
训练数据默认值偏好 倾向于使用旧库、过时命令、标准模板——而非最优方案。
2
执行压力下的实现漂移 遇到复杂度墙就转向更简单的替代方案，偏离原始设计。
3
记忆与上下文退化 长期项目中逐渐丢失关键细节，前后文不一致。
4
过度乐观 宣称实验"显著优于基线"，但实际结果充满噪声。
5
领域智能不足 缺乏隐性技艺知识——那些论文不会写、但实验室里每个人都知道的东西。
6
科学品味薄弱 实验可以执行，但无法判断"这个问题值不值得问"。
七大未来挑战
评估相关 数据与记忆 安全与稳定性 人类角色
1
评估相关
弱且模糊的评估器
编程有单元测试，数学有证明——但很多研究声明没有快速精确的验证器。研究品味、新颖性、长期科学价值极难衡量。没有可靠评估器，自我改进循环的反馈信号就是模糊的，改进方向可能是错的。

💬 打个比方：健身有体重秤，代码有测试——但"这篇论文有没有价值"没有秤可称。没有秤，再努力的减肥计划也不知道自己是瘦了还是胖了。
2
数据与记忆
上下文与记忆生命周期
记忆需求随 Agent 自主性增长而爆炸式增长。当前的"上下文工程"大多停留在软件系统层——但它应该成为智能本身的核心部分。一个不能管理自己记忆的 Agent，无法完成跨天、跨周的复杂研究任务。
3
数据与记忆
负面结果
科学文献严重偏向成功案例。LLM 可能不擅长决定何时放弃假设、何时坦诚报告负面结果。研究 Harness 应该让失败的尝试和死胡同易于保存和检索——因为知道"什么行不通"和知道"什么行"同样重要。
4
安全与稳定性
多样性坍缩
进化算法和 RL 循环天然倾向于利用已知的高奖励模式。当种群中所有候选解都坍缩为同一方案的微小变体时，创新就停止了。需要专门的机制（如多样性奖励、档案保持）来防止解空间坍缩。

💬 打个比方：全班都抄第一名的作业，短期分数好看，但再也不会有人想出新解法了。
5
安全与稳定性
奖励黑客
优化单元测试会过拟合测试用例；优化评判模型会学会 reward hacking；优化 benchmark 分数会利用 benchmark 漏洞。这是自我改进循环中最危险的反模式之一——评估器和权限控制应该在进化循环之外，由独立机制维护。

💬 打个比方：如果考试只看分数，学生就会背题库、找漏洞、甚至改成绩单——而不是真正学会知识。所以"出卷人"和"改卷人"绝不能是学生自己。
6
安全与稳定性
长期成功
当前优化目标太短期。编码 Agent 能完成眼前的任务，但不够清楚如何保护仓库的长期健康。标准沙箱 RLVR 训练很少捕获可维护性、所有权边界、迁移成本和向后兼容性。一个只追求"测试通过"的 Agent 可能在技术债中埋下定时炸弹。
7
人类角色
人类的角色
人类应该在栈中向上移动，而非被移出循环。随着 AI 接管越来越多的执行层工作，人类的价值在于在正确的时间、正确的抽象层级提供监督——设定目标、判断方向、守住底线。完全自主的 AI 不是最终目标，人机协作的质量才是。

最终思考

自动研究、递归自我改进、AI Agent——这些技术正在快速发展，但上面列出的七道关并不是"工程问题"，它们是根本性的系统设计挑战。

弱评估器让反馈信号模糊，多样性坍缩让创新停滞，奖励黑客让改进方向跑偏，短期优化让长期健康受损——而所有这些问题的共同解法，最终都指向同一个方向：

我们在为人类更好的未来构建技术，而非反过来。
许多挑战都需要人类的反馈和引导——人不是要被替代的瓶颈，而是系统不可或缺的方向盘。