PART 5 · Harness와 자기 개선

워크플로우 설계：수동에서 자동 탐색으로

워크플로우의 설계 공간은 방대합니다. 알고리즘으로 탐색해야 하며, 수동 설계만으로는 결코 충분하지 않습니다.

수동으로 설계된 워크플로우

💬 쉽게 말하면：워크플로우는 AI에게 배정된 업무 체크리스트입니다. 신입 직원에게 「먼저 A를 하고, 다음에 B를 하고, 문제가 생기면 C에게 확인해」라고 알려주는 것과 같습니다. 예전에는 이 체크리스트를 전부 사람이 한 단계씩 작성했고, 아래 두 예시가 인간이 손으로 만든 가장 강력한 체크리스트입니다.

Lu et al. 2026

AI Scientist

완전한 과학 연구 자동화 파이프라인 구축

핵심 아이디어：과학 연구의 전체 프로세스를 Agent 시스템이 자동으로 완료하도록 맡깁니다：처음부터 완전한 연구 사이클을 실행합니다.

파이프라인 흐름：

연구 아이디어 제안
→
코드 작성
→
실험 실행
→
결과 분석
→
논문 작성
→
동료 심사

핵심 혁신：모든 단계가 LLM으로 구동되어 엔드투엔드 자동화 연구 시스템을 형성합니다. 심사 단계에는 LLM-as-judge를 도입해 품질을 관리합니다.

AI Scientist의 완전한 파이프라인：연구 구상부터 논문 작성 및 동료 심사까지 모두 Agent가 자동 실행합니다. (Lu et al. 2026)

Kulikov et al. 2026

Autodata

데이터 과학자 Agent：난이도가 딱 맞는 데이터 합성

핵심 아이디어：다중 역할 협업을 통해 훈련 데이터를 자동 합성하고 난이도를 정밀하게 제어합니다：strong solver는 풀 수 있고 weak solver는 풀 수 없는 난이도.

역할 체계：

Challenger출제자

Weak Solver약한 해결자

Strong Solver강한 해결자

Verifier / Judge검증 심판

핵심 혁신：난이도 격차를 데이터 품질 신호로 활용합니다：강한 해결자는 풀 수 있고 약한 해결자는 풀 수 없는 문제만 보존하여 합성 데이터의 모델 향상 가치를 극대화합니다.

Autodata의 다중 역할 협업 체계：Challenger 출제, Strong/Weak Solver 풀이 시도, Verifier 데이터 품질 중재. (Kulikov et al. 2026)

ADAS: Agent 시스템 자동화 설계

💬 쉽게 말하면：체크리스트를 손으로 작성하는 것은 너무 힘듭니다. 그렇다면 AI가 AI를 위한 체크리스트를 설계하게 할 수는 없을까요？ADAS가 바로 그 발상입니다：'설계자 AI'를 고용하여 새로운 체크리스트를 계속 그리고, 실행하고, 점수를 매기고, 좋은 것을 남기게 합니다. 숙련된 전문가가 후배를 가르치는 작업도 자동화한 셈입니다.

Hu et al. 2025

ADAS — Automated Design of Agentic Systems

Agent 설계 자체를 최적화 문제로 취급

핵심 아이디어："Meta-Agent"가 Agent 설계 공간에서 최적 솔루션을 자동으로 탐색하여 수동 Agent 아키텍처 설계를 대체합니다. 이것이 "meta-agent search"입니다.

작동 방식：
1. Meta-Agent가 먼저 고수준 설명(Agent 아키텍처, 도구 사용, 추론 전략)을 생성합니다
2. 고수준 설명을 실행 가능한 코드로 구현합니다
3. self-refine으로 새로움을 검증합니다：기존 솔루션을 단순 반복하지 않는지 확인
4. 벤치마크 태스크에서 평가하고 가장 성능 좋은 설계를 보존합니다

핵심 혁신：코드를 Agent 설계 탐색 공간의 표현으로 사용하여 설계를 자동으로 생성, 수정, 평가할 수 있게 합니다.

ADAS Meta-Agent Search：Meta-Agent가 후보 Agent 설계 생성 → 코드로 구현 → 평가 → 반복 최적화. (Hu et al. 2025)

AFlow：MCTS 기반 워크플로우 탐색

💬 쉽게 말하면：ADAS는 AI가 자유롭게 새로운 방안을 떠올리는 방식이라면, AFlow는 한 단계 더 나아가 체스 AI와 똑같은 보드 시뮬레이션 기법(MCTS, 몬테카를로 트리 탐색)으로 최적 프로세스를 찾습니다. AlphaGo가 수백 수를 시뮬레이션하며 「내가 여기 두면 상대방은 어떻게 할까」를 생각하듯, AFlow도 수백 가지 워크플로우 변형을 머릿속에서 시뮬레이션하고 점수가 높은 방향으로 깊이 파고듭니다.

Zhang et al. 2025

AFlow

Agent 워크플로우를 그래프로 표현하고 MCTS로 자동 최적화

핵심 아이디어：워크플로우를 방향성 그래프로 표현합니다：노드는 LLM 호출 액션, 엣지는 코드의 논리 연산(조건 분기, 루프, 데이터 전달)입니다. 그런 다음 몬테카를로 트리 탐색(MCTS)으로 이 그래프 공간에서 최적 워크플로우를 자동으로 탐색합니다.

MCTS 최적화 흐름：

초기화 시작 워크플로우를 탐색 트리의 루트 노드로 설정
soft mixture of score and uniform exploration을 사용해 확장할 노드를 선택(활용과 탐색의 균형)
LLM이 수정된 워크플로우 변형을 생성하도록 합니다(노드와 엣지 추가/삭제/수정)
목표 태스크에서 새 워크플로우의 성능을 실행하고 평가합니다
개선이 있으면 탐색 트리에 추가하여 새로운 후보로 등록합니다
top-k 평균 점수가 안정되거나 계산 예산에 도달할 때까지 반복합니다

핵심 혁신：워크플로우 설계 문제를 트리 탐색 문제로 변환하여, MCTS의 탐색-활용 균형 메커니즘이 좋은 워크플로우 구조를 자동으로 발견합니다 — 인간의 수동 설계 불필요.

AFlow의 그래프 표현과 MCTS 탐색：워크플로우는 노드(LLM 액션)와 엣지(논리 연산)로 구성된 방향성 그래프로 표현됩니다. (Zhang et al. 2025)

AFlow 실험 결과

방법	설계 방식	탐색 전략	핵심 장점
수동 설계	인간 전문가 반복	없음(직관 기반)	높은 해석 가능성
ADAS	Meta-Agent + 코드	Self-refine	자동화 설계
AFlow	그래프 표현 + MCTS	몬테카를로 트리 탐색	체계적 탐색 + 안정적 수렴

QA, 코드 생성, 수학적 추론 등 태스크에서 AFlow 성능 비교：체계적 탐색이 수동 설계와 ADAS를 능가합니다. (Zhang et al. 2025)

단계별 체험：AFlow의 MCTS 탐색 과정

준비됨

초기화

W₀: Plan → Execute 점수 52

가장 단순한 단일 단계 워크플로우에서 시작합니다. 반성 없음, 검증 없음, 병렬 없음.

확장：LLM이 변형 제안

W₁: +Reflect61 W₂: +Verify58 W₃: +Decompose55

LLM이 W₀을 기반으로 반성, 검증, 태스크 분해를 각각 추가한 세 가지 수정안을 생성합니다.

평가 & 부모 노드 선택

W₁: 61 ← 선택됨

W₁이 가장 높은 점수(61 > 58 > 55)를 얻어 다음 라운드 확장의 부모 노드로 선택됩니다.

재확장

W₄: Reflect×265 W₅: Reflect+Verify78 🏆

W₁에서 두 가지 변형을 확장합니다：이중 반성 vs 반성+검증 조합. 후자가 대폭 앞섭니다!

가지치기 & 수렴

W₃: 55 ✗ W₆: 56 ✗ W₅: 78 ✓ 최적

임계값 이하의 워크플로우는 가지치기됩니다. W₅(Plan → Execute → Reflect → Verify → Output)가 탐색된 최적 솔루션으로 확정됩니다. 수동 설계보다 50% 향상!

핵심 인사이트

방대한 탐색 공간：워크플로우의 조합 가능성은 인간이 수동으로 탐색할 수 있는 범위를 훨씬 초과합니다 — 수동 설계는 빙산의 일각에 불과합니다
설계는 탐색이다：워크플로우 설계를 탐색 문제로 취급하고, 직관 대신 알고리즘(예：MCTS)으로 좋은 솔루션을 찾으세요
코드는 범용 언어：Harness는 본질적으로 prompt, 도구 호출, 서브 Agent, 제어 흐름, 메모리, 워크플로우 로직을 조율하는 코드입니다
ADAS에서 AFlow로의 진화：Agent 설계의 자동화 수준이 계속 향상되고 있습니다 — LLM이 설계하는 방식에서 알고리즘이 체계적으로 탐색하는 방식으로

워크플로우 자체가 탐색 공간이 되는 순간, 설계는 예술에서 엔지니어링으로 바뀝니다

핵심 인사이트