기존 실험에 평가기 추가하는 방법
기존 실험에 평가기 추가하는 방법 (Python 전용)
기존 실험에 대한 평가는 현재 Python SDK에서만 지원돼요.
실험을 실행한 후에 애플리케이션을 다시 실행하지 않고 새로운 평가 지표를 추가하고 싶을 수 있어요. 새로운 평가기를 추가했거나 기존 결과에 다른 점수 기준을 적용하고 싶은 경우에 유용하죠. 모든 예시에서 타깃 함수를 다시 실행하는 대신, 기존 실험의 트레이스를 직접 평가할 수 있습니다.
기존 실험에 평가기를 추가하려면 타깃 함수 대신 실험 이름이나 ID를 evaluate() / aevaluate()에 전달하세요. 평가기는 원래 실험의 캐시된 트레이스에서 실행되며, 기록된 입력, 출력, 그리고 중간 단계에 접근합니다.
출처: 문서
본문
예시
from langsmith import evaluate
def always_half(inputs: dict, outputs: dict) -> float:
return 0.5
experiment_name = "my-experiment:abc" # 실제 실험 이름이나 ID로 바꾸세요
evaluate(experiment_name, evaluators=[always_half])