Task Completion

에이전트의 작업 완료 점수를 알아보고 싶을 때 쓰는 단일 턴(single-turn) 지표예요. LLM-as-a-judge 방식으로 LLM 에이전트가 전체 트레이스를 바탕으로 주어진 작업을 성공적으로 완료했는지 평가해요.

출처: 문서

본문

task completion 지표는 단일 턴 지표로, LLM-as-a-judge를 사용해 LLM 에이전트가 전체 트레이스를 바탕으로 주어진 작업을 성공적으로 완료했는지 평가해요.

중요한 참고(Important Note)

task completion 은 작업 성공 여부를 판단하기 위해 에이전트의 전체 트레이스를 분석해요. 그러려면 트레이싱 설정이 선행되어야 해요.

metric collection에 task completion 지표를 추가할 때 설정할 수 있는 파라미터들이에요:

task (string)

완료해야 할 작업을 지정하는 문자열이에요. 예를 들어 Write a poem about AI처럼요.

task completion 지표는 LLM을 사용해 트레이스의 각 단계에서 작업과 결과(outcome)를 추출한 뒤, 같은 LLM으로 그 결과를 바탕으로 작업이 충족되었는지 판단해요.

$$ \text{Task Completion} = \text{Alignment Score}(\text{Task}, \text{Outcome}) $$

최종 점수는 트레이스에서 추출한 작업과 결과의 정렬(alignment) 정도예요.

Confident AI에서 task completion 지표를 실행하려면 단일 턴 metric collection에 추가하면 돼요. 그러면 task completion 지표를 다음에 활용할 수 있어요: