PART 5 · Harness와 자기 개선

미래 도전: 자기 개선의 7가지 관문

연구자들은 진정한 진전을 이루었지만, 완전한 재귀적 자기 개선으로 가는 길에는 아직 몇 가지 병목이 남아 있습니다.

Reality Check

자동 연구: 논문 작성 ≠ 과학하기

AI Scientist는 전문가가 설계한 Harness가 자동 연구 루프의 대부분 단계를 조율할 수 있음을 증명했지만, 논문 생산이 과학적 발견과 같지는 않습니다. 시스템은 그럴듯해 보이는 논문을 작성할 수 있지만, 허구의 인용, 구현 표류, 또는 약한 실험 결과를 포함할 수 있습니다.
💬 쉽게 말하면: AI는 이제 논문처럼 보이는 것을 생산할 수 있습니다. 하지만 템플릿만 따르는 인턴처럼: 형식은 맞고, 인용도 다 있지만, 실험이 틀릴 수 있고 결론이 지어낸 것일 수 있습니다. 다음 6가지 패턴은 연구자들이 반복적으로 관찰한 문제들입니다.

반복적으로 나타나는 6가지 실패 패턴

Trehan & Chopra (2026)는 아이디어에서 논문까지의 전 과정에서 LLM을 체계적으로 테스트하여 반복적으로 나타나는 6가지 실패 패턴을 발견했습니다. 이는 현재 자동 연구의 구조적 병목이며 우발적인 버그가 아닙니다.

1
학습 데이터 기본값 선호 오래된 라이브러리, 폐기된 명령어, 표준 템플릿을 사용하는 경향이 있어 최적의 솔루션을 놓칩니다.
2
실행 압박 하의 구현 표류 복잡성 한계에 부딪히면 더 간단한 대안으로 전환하고 원래 설계에서 벗어납니다.
3
메모리와 컨텍스트 저하 장기 프로젝트에서 핵심 세부 사항을 점진적으로 잃어 일관성이 없어집니다.
4
과도한 낙관주의 실제 결과가 노이즈로 가득한데도 실험이 "기준선을 유의미하게 능가한다"고 주장합니다.
5
도메인 지능 부족 암묵적 기술 지식 부재: 논문에는 쓰이지 않지만 실험실의 모든 사람이 아는 것들.
6
약한 과학적 안목 실험은 실행할 수 있지만 "이 질문이 물어볼 가치가 있는가?"를 판단하지 못합니다.
7가지 미래 도전
평가 관련 데이터와 메모리 안전과 안정성 인간의 역할
1
평가 관련
약하고 모호한 평가자
프로그래밍에는 단위 테스트가 있고 수학에는 증명이 있지만, 많은 연구 주장에는 빠르고 정확한 검증자가 없습니다. 연구 안목, 참신성, 장기적 과학 가치를 측정하기란 매우 어렵습니다. 신뢰할 수 있는 평가자 없이는 자기 개선 루프의 피드백 신호가 모호해지고 개선 방향이 틀릴 수 있습니다.

💬 비유: 운동에는 체중계가, 코드에는 테스트가 있지만 "이 논문이 가치 있는가?"는 잴 수 있는 도구가 없습니다. 체중계 없이는 아무리 열심히 운동해도 살이 빠지는지 찌는지 알 수 없습니다.
2
데이터와 메모리
컨텍스트와 메모리 수명 주기
메모리 요구사항은 Agent 자율성이 증가함에 따라 폭발적으로 증가합니다. 현재 컨텍스트 엔지니어링은 대부분 소프트웨어 시스템 레이어에 머물러 있지만, 그것은 지능 자체의 핵심 부분이 되어야 합니다. 자신의 메모리를 관리할 수 없는 Agent는 며칠이나 몇 주에 걸친 복잡한 연구 작업을 완료할 수 없습니다.
3
데이터와 메모리
부정적 결과
과학 문헌은 성공 사례에 크게 편향되어 있습니다. LLM은 언제 가설을 포기해야 할지 또는 솔직하게 부정적 결과를 보고해야 할지 결정하는 데 서툴 수 있습니다. 연구 Harness는 실패한 시도와 막다른 길을 쉽게 저장하고 검색할 수 있게 해야 합니다. "무엇이 효과가 없는지" 아는 것이 "무엇이 효과 있는지" 아는 것만큼 중요하기 때문입니다.
4
안전과 안정성
다양성 붕괴
진화 알고리즘과 RL 루프는 자연적으로 알려진 높은 보상 패턴을 활용하는 경향이 있습니다. 집단의 모든 후보가 동일한 솔루션의 미세한 변형으로 붕괴될 때 혁신은 멈춥니다. 해 공간의 붕괴를 방지하기 위한 전용 메커니즘(예: 다양성 보상, 아카이브 유지)이 필요합니다.

💬 비유: 반 전체가 1등 학생의 숙제를 베끼면 단기 점수는 좋아 보이지만, 아무도 다시는 새로운 풀이법을 생각해내지 못할 것입니다.
5
안전과 안정성
보상 해킹
단위 테스트 최적화는 테스트 케이스에 과적합으로 이어지고, 판단 모델 최적화는 reward hacking을 학습하며, benchmark 점수 최적화는 benchmark 허점을 악용합니다. 이는 자기 개선 루프에서 가장 위험한 안티패턴 중 하나입니다: 평가자와 권한 제어는 진화 루프 밖에 있어야 하며 독립 메커니즘으로 유지되어야 합니다.

💬 비유: 시험이 점수만 본다면 학생들은 답안집을 외우고, 허점을 찾고, 성적표까지 고칠 것입니다 — 아무도 진짜 지식을 배우지 않습니다. 그래서 출제자와 채점자는 절대 학생 자신이 될 수 없습니다.
6
안전과 안정성
장기적 성공
현재 최적화 목표는 너무 단기적입니다. 코딩 Agent는 눈앞의 작업을 완료할 수 있지만, 코드베이스의 장기적 건강을 어떻게 보호할지에 대해 충분히 인식하지 못합니다. 표준 샌드박스 RLVR 훈련은 유지 보수성, 소유권 경계, 마이그레이션 비용, 하위 호환성을 거의 포착하지 못합니다. 테스트 통과만 추구하는 Agent는 기술 부채 시한폭탄을 심을 수 있습니다.
7
인간의 역할
인간의 역할
인간은 스택에서 위로 이동해야 하고 루프 안에 계속 있어야 합니다. AI가 점점 더 많은 실행 레이어 작업을 인수함에 따라, 인간의 가치는 올바른 시간에, 올바른 추상화 레벨에서 감독 제공에 있습니다: 목표 설정, 방향 판단, 한계선 유지. 완전 자율 AI가 최종 목표가 아니라 — 인간-AI 협업의 품질이 목표입니다.

최종 생각

자동 연구, 재귀적 자기 개선, AI Agent — 이러한 기술들은 빠르게 발전하고 있지만, 위에 나열된 7가지 관문은 엔지니어링 문제가 아닙니다. 그것들은 근본적인 시스템 설계 도전입니다.

약한 평가자는 피드백 신호를 모호하게 만들고, 다양성 붕괴는 혁신을 정체시키며, 보상 해킹은 개선 방향을 왜곡하고, 단기 최적화는 장기 건강을 해칩니다. 이 모든 문제에 대한 공통 해법은 궁극적으로 같은 방향을 가리킵니다:

우리는 인간의 더 나은 미래를 위한 기술을 구축하고 있으며, 그 방향은 항상 기술이 사람을 위해 봉사하는 것입니다.
많은 도전들이 인간의 피드백과 지도를 필요로 합니다. 인간은 시스템에서 없어서는 안 될 방향키이며, 결코 대체될 병목이 아닙니다.