Plan Adherence

에이전트가 세운 계획을 실제로 따라 했는지 확인하고 싶을 때 쓰는 단일 턴(single-turn) 지표예요. LLM-as-a-judge 방식으로 LLM 에이전트가 작업을 완료하기 위해 세운 계획을 실제로 따랐는지 평가해요.

출처: 문서

본문

plan adherence 지표는 단일 턴 지표로, LLM-as-a-judge를 사용해 LLM 에이전트가 작업을 완료하기 위해 세워 둔 계획을 실제로 따랐는지 평가해요.

중요한 참고(Important Note)

plan adherence 지표는 에이전트의 전체 트레이스에서 작업(task), 계획(plan), 실행 단계(execution steps)를 추출해요. 그러려면 트레이싱 설정이 선행되어야 해요.

plan adherence 지표는 LLM을 사용해 에이전트의 추론 단계에서 작업과 계획을 추출한 뒤, 같은 LLM으로 트레이스 속 실행 단계가 그 계획을 얼마나 잘 따르는지 점수 매겨요.

$$ \text{Plan Adherence} = \text{Alignment Score}(\text{(Task, Plan)}, \text{Execution Steps}) $$

트레이스에서 어떤 진술도 계획을 정의하거나 암시하지 않으면, 지표는 기본적으로 점수 1로 통과해요.

최종 점수는 트레이스에서 추출한 작업·계획과 실행 단계의 정렬(alignment) 정도예요.

Confident AI에서 plan adherence 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 plan adherence 지표를 다음에 활용할 수 있어요: