평가기 점수 감사(audit)하기

평가기 점수 감사(audit)하기

LLM-as-a-judge 평가기도 항상 옳은 건 아니에요. 그래서 평가기가 남긴 점수를 사람이 직접 검토하고 필요한 부분을 수정하는 게 유용할 때가 많습니다. LangSmith에서는 UI나 SDK에서 평가기 점수에 수정(correction)을 가할 수 있도록 지원해요.

출처: 문서

본문

LLM-as-a-judge 평가기가 항상 정확한 것은 아닙니다. 그렇기 때문에 평가기가 남긴 점수를 사람이 수동으로 감사하고 필요한 곳을 수정하는 것이 유용할 때가 많습니다. LangSmith를 사용하면 UI 또는 SDK에서 평가기 점수를 수정할 수 있습니다.

비교 뷰 (comparison view)에서

비교 뷰에서 아무 피드백 태그나 클릭하면 피드백 세부 정보가 나타납니다. 거기서 오른쪽의 "edit" 아이콘을 클릭해 수정 뷰를 엽니다. 그런 다음 "Make correction" 아래의 텍스트 상자에 원하는 점수를 입력하면 됩니다. 원한다면 수정에 대한 설명도 첨부할 수 있습니다. 이는 few-shot 평가기를 사용할 때 유용하며, few_shot_explanation 프롬프트 변수 자리에 few-shot 예제에 자동으로 삽입됩니다.

Audit Evaluator Comparison View

런 테이블 (runs table)에서

런 테이블에서 "Feedback" 열을 찾아 피드백 태그를 클릭하면 피드백 세부 정보가 나타납니다. 역시 오른쪽의 "edit" 아이콘을 클릭해 수정 뷰를 엽니다.

Audit Evaluator Runs Table

SDK에서

SDK의 update_feedback 함수와 correction 딕셔너리를 통해 수정할 수 있습니다. UI에서 렌더링되려면 숫자에 해당하는 score 키를 반드시 지정해야 합니다.

import langsmith

client = langsmith.Client()

client.update_feedback(
    my_feedback_id,
    correction={
        "score": 1,
    },
)

import { Client } from 'langsmith';

const client = new Client();

await client.updateFeedback(
    myFeedbackId,
    {
        correction: {
            score: 1,
        }
    }
)

더 알아보기