Agent 엔지니어링
권한과 안전
Agent는 무엇을 할 수 있고, 무엇을 해서는 안 될까요? 세 가지 권한 모드를 전환하며 동일한 작업들이 각 모드에서 어떻게 처리되는지 관찰해보세요.
권한 모드 선택
확인 모드 기본값
모든 위험 작업에 사용자 확인이 필요합니다
자동 모드 위험
모든 작업이 확인 없이 자동으로 실행됩니다
스마트 모드 Alice
LLM 분류기가 위험 등급을 평가하여 단계별로 처리합니다
시나리오 시뮬레이션
| # | 작업 | 도구 메타데이터 | 위험 평가 | 처리 결과 |
|---|
권한 모드 선택 → 실행 클릭 → 차이 관찰
세 가지 설계 결정
📌 설계 결정 1: 권한 설계의 핵심 갈등은 안전 vs 효율입니다. 확인 팝업은 사용자 흐름을 방해하지만, 확인하지 않으면 되돌릴 수 없는 피해가 발생할 수 있습니다. 당신의 제품은 어느 쪽을 선택하나요?
📌 설계 결정 2: Alice의 「스마트 모드」는 LLM으로 위험을 판단하지만, LLM도 틀릴 수 있습니다. 한 번의 오분류가 사용자 데이터를 삭제할 수 있습니다. 이 리스크를 받아들일 수 있나요?
📌 설계 결정 3: 「읽기 전용」과 「파괴적」은 도구 레벨의 플래그입니다. 각 도구가 어느 위험 등급에 속하는지는 PM이 결정해야 합니다. 이는 제품 결정이며 엔지니어링에 떠넘길 수 없습니다.
핵심 정리
핵심 정리 Agent 권한 설계의 본질은 안전과 효율 사이에서 균형을 찾는 것입니다. 모두 확인하면 가장 안전하지만 가장 느리고, 모두 허용하면 가장 빠르지만 가장 위험합니다. Alice의 방식은 AI로 위험 등급을 판단해 저위험은 자동 허용, 고위험은 차단 후 확인합니다.