LangSmith — 에이전트 평가 접근법 3종
LangSmith — 에이전트 평가 접근법 3종
에이전트는 도구 호출+메모리+계획으로 동작해서, 평가도 이 구조에 맞춰야 해요. LangSmith는 에이전트 평가를 세 가지 유형으로 나눠요.
세 가지 평가 유형
- Final Response(최종 응답): 에이전트를 블랙박스로 보고 최종 답이 잘 나왔는지 평가. LLM-as-judge가 흔히 효과적이에요.
- Single step(단일 단계): 단계 하나(LLM 호출에서 올바른 도구를 골랐는지)를 격리해 평가. 빠르고 실패 지점을 좁혀주지만 전체를 못 봐요.
- Trajectory(궤적): 에이전트가 기대한 도구 호출 경로를 밟았는지 평가. '정확한 경로', '순서 무관 도구 집합', '오차 단계 수' 등으로 점수화해요.
실무 팁
멀티턴·실패 지점 진단에는 세 유형을 함께 쓰는 게 일반적이에요. 너무 엄격한 도구 순서 강제는 유효한 대안 경로를 놓칠 수 있어 주의해요.