PART 5 · Harness 与自我改进

工作流设计：从手工到自动搜索

工作流的设计空间巨大——我们应该用算法去搜索，而不只是手动设计。

Workflow Design & Automated Search

当工作流本身成为搜索空间，设计就不再是艺术，而是工程

从完全手工的管线设计，到用 MCTS 自动发现最优工作流——Agent 系统的设计范式正在发生根本转变。代码是定义 Harness 的通用语言。
手工设计的工作流
💬 说人话："工作流"就是给 AI 安排的做事流程表。就像新员工入职，你得告诉他"先做 A，再做 B，出问题找 C 核对"。以前这张流程表全靠人一步步写，下面这两个例子就是人手工写出来的"最强流程表"。
Lu et al. 2026
AI Scientist
构建完整的科研自动化管线
核心思想：将科学研究的完整流程交给一个 Agent 系统自动完成——从零开始执行一轮完整的研究循环。

管线流程：
关键创新：每一步都由 LLM 驱动，形成端到端的自动化科研系统。评审环节引入 LLM-as-judge 进行质量把关。
AI Scientist Pipeline
AI Scientist 的完整管线：从研究构思到论文写作与同行评审，全部由 Agent 自动化执行。（Lu et al. 2026）
Kulikov et al. 2026
Autodata
数据科学家 Agent——合成"恰到好处"难度的数据
核心思想：通过多角色协作，自动合成训练数据，使数据难度精确可控——strong solver 能做出，weak solver 做不出。

角色体系：
Challenger出题者
Weak Solver弱解题者
Strong Solver强解题者
Verifier / Judge验证裁判
关键创新：用"难度差"作为数据质量信号——只有同时满足"强者能解"和"弱者不能解"的题目才被保留，确保合成数据对提升模型有最大价值。
Autodata System
Autodata 的多角色协作体系：Challenger 出题，Strong/Weak Solver 试解，Verifier 仲裁数据质量。（Kulikov et al. 2026）
ADAS: 自动化 Agent 系统设计
💬 说人话：手写流程表太累，那能不能让 AI 自己给 AI 设计流程表？ADAS 就是这个思路：雇一个"设计师 AI"，让它不停画新的流程表、试跑、打分，把好用的留下来。相当于让老师傅带徒弟的工作也自动化了。
Hu et al. 2025
ADAS — Automated Design of Agentic Systems
将 Agent 设计本身视为优化问题
核心思想：不是手工设计 Agent 架构，而是让一个 "Meta-Agent" 在 Agent 设计空间中自动搜索最优方案。这就是 "meta-agent search"。

工作机制：
1. Meta-Agent 先生成一个高层描述（Agent 的架构、工具使用、推理策略）
2. 将高层描述实现为可执行代码
3. 通过 self-refine 检查新颖性——确保不是简单重复已有方案
4. 在基准任务上评估，保留表现最好的设计

关键创新：用代码作为 Agent 设计的搜索空间表示，使设计可以被自动生成、修改和评估。
ADAS Meta-Agent Search
ADAS 的 Meta-Agent Search：Meta-Agent 生成候选 Agent 设计→实现为代码→评估→迭代优化。（Hu et al. 2025）
AFlow：基于 MCTS 的工作流搜索
💬 说人话：ADAS 是让 AI 随便发挥想新方案，AFlow 则更进一步——用下棋 AI 同款的"棋盘推演法"（MCTS，蒙特卡洛树搜索）来找最优流程。就像 AlphaGo 下棋前会在脑子里推演几百步"如果我走这里，对方会怎样"，AFlow 也是在脑子里推演几百种流程改法，哪条路线得分高就往哪边深挖。
Zhang et al. 2025
AFlow
将 Agent 工作流表示为图，用 MCTS 自动优化
核心思想：把工作流表示为有向图——节点是 LLM 调用动作，边是代码中的逻辑操作（条件分支、循环、数据传递）。然后用蒙特卡洛树搜索（MCTS）在这个图空间中自动寻找最优工作流。

MCTS 优化流程：
  1. 初始化起始工作流作为搜索树的根节点
  2. 用 soft mixture of score and uniform exploration 选择待扩展节点（平衡利用与探索）
  3. 让 LLM 生成修改后的工作流变体（添加/删除/修改节点和边）
  4. 在目标任务上执行并评估新工作流的表现
  5. 如果有改进，加回搜索树中作为新的候选
  6. 重复直到 top-k 平均分稳定或达到计算预算
关键创新：将工作流设计问题转化为树搜索问题，让 MCTS 的探索-利用平衡机制自动发现好的工作流结构——无需人类手工设计。
AFlow Architecture
AFlow 的图表示与 MCTS 搜索：工作流被表示为节点（LLM 动作）和边（逻辑操作）的有向图。（Zhang et al. 2025）
AFlow 实验结果
方法 设计方式 搜索策略 核心优势
手工设计 人类专家迭代 无（凭经验） 可解释性强
ADAS Meta-Agent + 代码 Self-refine 自动化设计
AFlow 图表示 + MCTS 蒙特卡洛树搜索 系统化搜索 + 稳定收敛
AFlow Experimental Results
AFlow 在 QA、代码生成、数学推理等任务上的表现对比：系统化搜索优于手工设计和 ADAS。（Zhang et al. 2025）
逐步体验：AFlow 的 MCTS 搜索过程
就绪
1
初始化
W₀: Plan → Execute 得分 52
从最简单的单步工作流开始。没有反思、没有验证、没有并行。
2
扩展：LLM 提出变体
W₁: +Reflect61 W₂: +Verify58 W₃: +Decompose55
让 LLM 基于 W₀ 生成三个修改方案，分别加入反思、验证、任务分解。
3
评估 & 选择父节点
W₁: 61 ← 选中
W₁ 得分最高（61 > 58 > 55），选它作为下一轮扩展的父节点。
4
再次扩展
W₄: Reflect×265 W₅: Reflect+Verify78 🏆
从 W₁ 扩展两个方案：双重反思 vs 反思+验证组合。后者大幅领先！
5
剪枝 & 收敛
W₃: 55 ✗ W₆: 56 ✗ W₅: 78 ✓ 最优
分数低于阈值的工作流被剪枝。W₅（Plan → Execute → Reflect → Verify → Output）确认为搜索到的最优方案。比手工设计高出 50%！

核心洞见