Step Efficiency

에이전트가 굳이 취할 필요가 없던 단계를 밟지는 않았는지 확인하고 싶을 때 쓰는 단일 턴(single-turn) 지표예요. LLM-as-a-judge 방식으로 LLM 에이전트가 필요하지 않은 단계를 밟지 않고 작업을 완료했는지 평가해요.

출처: 문서

본문

step efficiency 지표는 단일 턴 지표로, LLM-as-a-judge를 사용해 LLM 에이전트가 취할 필요가 없던 단계를 밟지 않고 작업을 완료했는지 평가해요.

중요한 참고(Important Note)

step efficiency 지표는 에이전트의 전체 트레이스에서 작업과 실행 단계를 추출해요. 그러려면 트레이싱 설정이 선행되어야 해요.

step efficiency 지표는 LLM을 사용해 트레이스에서 작업을 추출한 뒤, 같은 LLM으로 에이전트가 취한 실행 단계를 그 작업에 비추어 점수 매겨요. 작업을 끝내는 데 꼭 필요하지 않았던 모든 행동에 페널티를 주죠.

$$ \text{Step Efficiency} = \text{Alignment Score}(\text{Task}, \text{Execution Steps}) $$

최종 점수는 트레이스에서 추출한 작업과 실행 단계의 정렬(alignment) 정도예요.

Confident AI에서 step efficiency 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 step efficiency 지표를 다음에 활용할 수 있어요: