「느낌상 좋아진 것 같다」는 이제 그만: 첫 평가 세트를 만드세요
앞 세 칸은 눈으로 검수했습니다. 양이 적을 때는 괜찮아요. 하지만 곧 그 고전적인 함정에 빠집니다. 프롬프트를 한 판 고쳤더니 이 세 케이스는 좋아지고, 저 두 케이스는 몰래 나빠졌는데, 당신은 모릅니다. Anthropic은 「평가하지 않는 것은 알몸으로 뛰는 것」이라고 말합니다. 이 칸이 Agent에게 옷을 입혀 줍니다.
평가 세트는 신비하지 않습니다. 고정된 입력 더미에, 각각 「무엇이 통과인가」 기준을 붙인 것일 뿐입니다. 신기한 순간은 점수를 돌릴 때입니다. 전면 향상이라 생각한 것이, 실은 세 개는 오르고 두 개는 내리는 경우가 많습니다. 평가 세트가 없으면, 내린 그 두 개는 영원히 보이지 않습니다.
프롬프트 변경 전후, 같은 케이스 세트를 돌리기
평가의 함정 세 가지, 이 장에서 이미 다뤘습니다
첫째, 점수를 돌리다가 케이스를 슬쩍 고치는 것. 케이스를 고치면 전후 점수를 비교할 수 없습니다. 케이스를 추가하는 건 괜찮고, 고치려면 베이스라인을 전량 다시 돌려야 합니다.
둘째, 총점만 보는 것. 4/5가 3/5보다 나은가? 떨어진 그 케이스가 원래 통과하던 것인지부터 보세요.
셋째, 기준을 「답변 품질이 높다」로 쓰는 것. 이런 기준은 판정할 수 없습니다. 「다음 주 계획이 포함됨」「숫자가 원문과 일치」처럼 한눈에 재결할 수 있는 문장으로 쓰세요. 판정할 수 없을 때만 LLM-as-Judge가 나옵니다.
이 장의 실습 체크리스트
0 / 3 완료
실제 케이스 10개 모으기
15분 누구나실제로 써 본 입력에서 10개를 골라 파일에 한 줄에 하나씩 넣으세요. 배합이 중요합니다. 일상 일곱, 까다로운 것 셋. 까다로운 것은 M1 다섯 번 연속 실행과 M2 멈춤 기록에서 건지세요. 이미 사고를 낸 입력이 가장 값집니다.
무엇이 완료인가
각 케이스에 통과 기준을 쓰고, 베이스라인 점수를 내기
1시간 변경에 근거를 두고 싶다면각 케이스에 「무엇이 통과인가」 한 문장을 붙이되, 한눈에 재결할 수 있는 형태로 쓰세요. 「출력이 정확히 세 단락」「결론에 XX가 포함됨」「원문 밖의 숫자를 지어내지 않음」. 쓴 뒤 10개를 전부 돌리고, 첫 베이스라인 점수를 적으세요.
무엇이 완료인가
프롬프트를 한 판 고치고, 점수로 말하기
반나절 계속 반복하고 싶다면떨어진 케이스를 겨냥해 프롬프트를 한 판 고치되, 케이스는 하나도 건드리지 마세요. 전량 다시 돌려 비교합니다. 두 곳을 집중해서 보세요. 총점이 얼마나 변했는지, 원래 통과하던 케이스가 오히려 떨어졌는지. 퇴화는 부끄러운 일이 아닙니다. 퇴화한 케이스와 이유를 적어두세요. 이미 Anthropic이 말하는 그 제대로 된 엔지니어링을 하고 있는 겁니다.