PART 5 · Harness와 자기 개선
진화적 탐색: 최강 Harness가 살아남는다
진화 알고리즘 + 코딩 Agent = 방대한 Harness 설계 공간에서 최적해를 자동으로 발견합니다.
진화적 탐색이 Harness 최적화에 적합한 이유
쉽게 말하면: 진화적 탐색은 자연이 작물을 육종하는 방식과 같습니다: 많이 심고, 잘 자라는 것을 선택해 씨앗으로 남기고, 안 좋은 건 도태시키고, 가끔 교배·변이를 주면서 세대를 거쳐 점점 좋아집니다. 왜 이 방법을 쓸까요? Harness는 Prompt, 코드, 설정이 혼합된 것으로 수학 공식으로 최적해를 구할 수 없기(그래디언트 불가) 때문입니다. 하지만 누가 더 좋은지 비교하기는 쉽습니다. 점수를 매길 수 있지만 해를 구할 수 없는 문제에는 "많이 키우고 가장 강한 것을 남기는" 방식이 딱입니다.
세 가지 적합 조건
1. 탐색 공간이 크고 형태가 불규칙: Harness 구성 요소는 자연어 Prompt, 코드 로직, 도구 설정을 포함하며 조합 폭발적이고 고도로 이산적입니다.
2. 그래디언트 불가, 하지만 평가는 쉬움: Prompt 텍스트에 미분을 적용할 수 없지만 벤치마크에서 직접 점수를 얻을 수 있습니다.
3. 다양성에 가치가 있음: 다른 작업에는 다른 스타일의 Harness가 필요할 수 있으며, 진화는 자연스럽게 개체군 다양성을 유지합니다.
2. 그래디언트 불가, 하지만 평가는 쉬움: Prompt 텍스트에 미분을 적용할 수 없지만 벤치마크에서 직접 점수를 얻을 수 있습니다.
3. 다양성에 가치가 있음: 다른 작업에는 다른 스타일의 Harness가 필요할 수 있으며, 진화는 자연스럽게 개체군 다양성을 유지합니다.
Prompt 진화의 선구자들
Promptbreeder & GEPA
Promptbreeder (Fernando et al. 2023): 풍부한 변이 연산자를 사용해 task-specific Prompt를 진화시킵니다. 핵심 혁신: 변이 Prompt 자체도 진화로 개선되어 메타 진화를 형성합니다.
GEPA (Agrawal et al. 2025): reflection-based Prompting과 진화 탐색을 결합합니다. Agent가 먼저 현재 Prompt의 부족한 점을 반성하고, 진화 연산자를 통해 후보 개선안을 생성한 후 최적을 선택합니다.
이 두 연구는 이후 더 큰 규모의 Harness 진화를 위한 기반을 마련했습니다.
GEPA (Agrawal et al. 2025): reflection-based Prompting과 진화 탐색을 결합합니다. Agent가 먼저 현재 Prompt의 부족한 점을 반성하고, 진화 연산자를 통해 후보 개선안을 생성한 후 최적을 선택합니다.
이 두 연구는 이후 더 큰 규모의 Harness 진화를 위한 기반을 마련했습니다.
AlphaEvolve: 코딩 Agent의 진화적 탐색
쉽게 말하면: AlphaEvolve는 위의 "작물 육종"을 프로그램 코드에 적용합니다: 코드 농장(후보 프로그램 풀)을 유지하면서 AI가 매 라운드마다 성능이 좋은 코드에 수정 의견(diffs 생성)을 제안하고, 수정 후 점수를 매겨 높은 점수가 살아남아 번식합니다. Google은 이것으로 인류가 알고 있던 것보다 더 빠른 행렬 곱셈 알고리즘을 실제로 발견했습니다: 작물이 새 품종을 만들어낸 것입니다.
AlphaEvolve (Novikov et al. 2025)
핵심 아이디어: 후보 프로그램 풀을 유지하고 동결된 LLM을 사용하여 코드 diffs를 생성해 프로그램을 개선하며, 서브프로그램을 반복적으로 평가하고 최고 성능을 보존합니다.
Novikov et al. "AlphaEvolve: A coding agent for scientific and algorithmic discovery." 2025.
AlphaEvolve 시스템 아키텍처: 후보 프로그램 풀 → LLM이 diffs 생성 → 평가 → 적자 생존.
Prompt 설계
부모 프로그램 + 평가 결과 + 지시문 + 메타 정보가 함께 진화 Prompt를 구성합니다
진화 마커
# EVOLVE-BLOCK-START / # EVOLVE-BLOCK-END로 개선 가능 영역을 명시적으로 표시
Meta-prompt
지시문과 컨텍스트 자체도 공동 진화에 참여하며 고정되지 않습니다
소거 실험
진화 파이프라인, 컨텍스트 Prompt, meta-prompt, 전체 파일 진화, 더 강한 LLM이 각각 독립적으로 기여함을 증명
AlphaEvolve 소거 실험: 각 구성 요소의 최종 성능 기여도.
Darwin Gödel Machine (DGM)
쉽게 말하면: DGM은 AlphaEvolve보다 더 급진적입니다: 진화의 대상이 Agent 자신의 "운영 체제"(자신의 harness 코드)로, 남의 코드를 수정하는 범위를 넘어섰습니다. 마치 로봇 집단에서 각 로봇이 자신의 시험 오답을 보고 직접 자신의 뇌 회로를 개조할 수 있는 것과 같습니다 — 잘 개조된 로봇이 살아남아 후손을 남깁니다. 이름의 "다윈"이 바로 그 의미입니다: 자연 선택, 가장 강한 자기 개조 방식이 생존합니다.
DGM (Zhang et al. 2025)
AlphaEvolve와 달리 DGM은 편집 가능한 harness 코드 저장소를 명시적으로 대상으로 진화합니다: Agent가 자신의 harness 코드를 수정할 수 있습니다.
Zhang et al. "The Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents." 2025.
- 초기화: 풀에서 하나의 코딩 Agent로 시작
- 부모 선택: 성능 확률로 부모 선택 (확률은 자식 수와 반비례, 탐색 장려)
- 반성 + 제안: 부모 Agent가 자신의 벤치마크 평가 로그를 검토하고 harness 개선안 제안
- 변이: harness 코드를 수정하여 새 Agent 생성
- 평가: 새 Agent가 벤치마크에서 평가되며, 성능이 충분히 높은 경우에만 풀에 다시 추가됨
- 반복: 중지 조건에 도달할 때까지 반복
DGM 도구 및 실험 결과
도구셋: bash + editor (view / create / edit)
실험 (Claude 3.5 Sonnet 기반):
· SWE-bench Verified: 20% → 50% (+30 pp)
· Polyglot: 14.2% → 30.7% (+16.5 pp)
인간 개입 없이 Agent가 자율적으로 더 강한 harness 설계를 진화시켰습니다.
실험 (Claude 3.5 Sonnet 기반):
· SWE-bench Verified: 20% → 50% (+30 pp)
· Polyglot: 14.2% → 30.7% (+16.5 pp)
인간 개입 없이 Agent가 자율적으로 더 강한 harness 설계를 진화시켰습니다.
적용 범위와 한계
적합한 시나리오
- 후보 해를 자동으로 평가할 수 있음
- Fitness를 수치화하기 쉬움
- 행렬 곱셈 가속화
- GPU 커널 최적화
- 알고리즘 경진대회
- 데이터센터 스케줄링
적합하지 않은 시나리오
- 평가 속도가 느림 (한 번에 수 시간)
- 평가 기준이 모호하거나 주관적
- 주로 휴리스틱 판단에 의존
- 제한된 컴퓨팅 예산
- 인간 검토 단계 필요
효율성 고려사항
진화적 탐색의 계산 비용은 무시할 수 없습니다. AlphaEvolve와 DGM 모두 많은 평가 라운드가 필요하며, 각 라운드는 LLM 추론 + 코드 실행 + 벤치마크 테스트를 포함합니다. 계산 효율성(세대당 필요한 평가 횟수)과 진화 효과(세대당 향상 정도) 사이의 균형은 여전히 미해결 문제입니다.
공동 최적화: 모델 가중치 + Harness
쉽게 말하면: 앞의 모든 방법은 워크플로우만 변경하고 AI의 두뇌(모델 가중치)는 건드리지 않습니다. SIA는 둘 다 동시에 변경하려 합니다: 워크플로우를 최적화하면서 두뇌도 다시 훈련합니다. 멋지게 들리지만 위험도 큽니다: 레이싱카의 엔진과 트랙을 동시에 수정하는 것처럼 — 양쪽이 동시에 변하면 제어하기 어렵습니다 (이것이 논문에서 언급하는 훈련 안정성 문제입니다).
SIA (Hebbar et al. 2026)
SIA는 harness 개선과 모델 파라미터 업데이트를 동일한 최적화 루프에 통합합니다:
· Meta-Agent: 새로운 harness 설계 제안
· Task-Specific Agent: 새 harness 하에서 작업 실행
· Feedback-Agent: 결과에 따라 harness 업데이트 또는 모델 가중치 업데이트 결정
방향은 흥미롭지만 증거는 예비적입니다: 훈련 안정성과 Goodhart 효과(대리 지표 최적화로 실제 목표 저하) 는 여전히 미해결 과제입니다.
· Meta-Agent: 새로운 harness 설계 제안
· Task-Specific Agent: 새 harness 하에서 작업 실행
· Feedback-Agent: 결과에 따라 harness 업데이트 또는 모델 가중치 업데이트 결정
방향은 흥미롭지만 증거는 예비적입니다: 훈련 안정성과 Goodhart 효과(대리 지표 최적화로 실제 목표 저하) 는 여전히 미해결 과제입니다.
Hebbar et al. "Self-Improving Agents." 2026.
SIA 아키텍처: Meta-Agent가 harness 제안 → Task Agent 실행 → Feedback Agent가 최적화 방향 결정.
핵심 관점: 탐색 공간이 크고 그래디언트를 사용할 수 없지만 평가가 쉬울 때, 진화적 탐색은 Harness 최적화의 자연스러운 선택입니다. Promptbreeder의 Prompt 진화에서 AlphaEvolve의 프로그램 진화, DGM의 harness 코드 자기 개작으로 — 진화 압력이 가장 강한 Agent를 살아남게 하고 있습니다. 미래의 SIA 방향은 harness와 모델 가중치의 공동 진화를 시도하지만 안정성 과제는 여전히 미해결 상태입니다.