실험에서 실패한 실행 다시 시도하는 방법
실험에서 실패한 실행 다시 시도하는 방법 (Python 전용)
대규모 데이터셋에서 평가를 실행하다 보면 속도 제한, 네트워크 문제, 또는 기타 일시적인 오류 때문에 소수의 예시에서 실패가 발생할 수 있어요. 전체 평가를 다시 실행하는 대신, 실험에서 실패한 예시만 식별해서 다시 시도할 수 있습니다.
이 가이드에서는 평가 워크플로우에 재시도 로직을 구축하고 실패한 예시만 다시 시도하는 방법을 보여드릴게요. error_handling='ignore' 파라미터를 사용해 오류가 발생한 실행의 로깅을 건너뛴 다음, 실패한 예시를 자동으로 식별해 Python에서 다시 실행할 수 있습니다.
출처: 문서
본문
1단계. 초기 평가 실행하기
오류가 발생한 실행이 로깅되지 않도록 오류를 무시하면서 초기 평가를 실행해요:
from langsmith import Client
client = Client()
# 오류를 무시하며 초기 평가 실행
# error_handling='ignore' 는 오류가 발생한 실행이 로깅되지 않게 합니다
results = await client.aevaluate(
target,
data="dataset",
evaluators=[your_evaluators],
error_handling='ignore'
)
2단계. 실패한 예시에서 다시 시도하고 같은 실험에 로깅
실패한 모든 예시를 가져옵니다:
# 실패한 예시 식별
runs = client.list_runs(project_name=results.experiment_name)
successful_example_ids = [r.reference_example_id for r in runs]
unsuccessful_examples = (e for e in client.list_examples(dataset_name="dataset") if e.id not in successful_examples)
이제 실패한 모든 예시를 다시 실행하고 같은 실험에 로깅합니다:
# 실패한 예시만 다시 시도하고 로깅
results_retry = await client.aevaluate(
target,
unsuccessful_examples,
evaluators=[your_evaluators],
experiment=results.experiment_name,
error_handling='ignore'
)