Plan Quality

에이전트가 세운 계획이 작업을 끝내기에 좋은 방법인지 확인하고 싶을 때 쓰는 단일 턴(single-turn) 지표예요. LLM-as-a-judge 방식으로 LLM 에이전트가 떠올린 계획이 주어진 작업을 완료하기에 좋은 방법인지 평가해요.

출처: 문서

본문

plan quality 지표는 단일 턴 지표로, LLM-as-a-judge를 사용해 LLM 에이전트가 떠올린 계획이 주어진 작업을 완료하기에 좋은 방법인지 평가해요.

중요한 참고(Important Note)

plan quality 지표는 에이전트의 전체 트레이스에서 작업과 계획을 추출해요. 그러려면 트레이싱 설정이 선행되어야 해요.

plan quality 지표는 LLM을 사용해 트레이스에서 작업을, 에이전트의 추론 단계에서 계획을 추출한 뒤, 같은 LLM으로 그 계획이 작업에 얼마나 잘 부합하는지 점수 매겨요.

$$ \text{Plan Quality} = \text{Alignment Score}(\text{Task}, \text{Plan}) $$

트레이스에서 어떤 진술도 계획을 정의하거나 암시하지 않으면, 지표는 기본적으로 점수 1로 통과해요.

최종 점수는 트레이스에서 추출한 작업과 계획의 정렬(alignment) 정도예요.

Confident AI에서 plan quality 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 plan quality 지표를 다음에 활용할 수 있어요: