실험 구성

실험 구성

LangSmith는 실험에 대한 여러 구성 옵션을 지원해요.

출처: 문서

본문

반복 (Repetitions)

반복(Repetitions) 은 LLM 출력 변동성을 고려해 실험을 여러 번 실행합니다. LLM 출력은 비결정적이므로 여러 번 반복하면 더 정확한 성능 추정치를 얻을 수 있어요.

반복을 구성하려면 evaluate / aevaluate에 num_repetitions 인자를 전달하세요 (Python, TypeScript). 각 반복은 타깃 함수와 모든 평가기를 다시 실행합니다.

자세한 내용은 반복 하우투 가이드를 참고하세요.

동시성 (Concurrency)

동시성(Concurrency) 은 실험 중 동시에 실행되는 예시의 수를 제어합니다. evaluate / aevaluate에 max_concurrency 인자를 전달해 구성할 수 있어요. 두 함수 간의 의미는 다릅니다:

evaluate

max_concurrency 인자는 타깃 함수와 평가기를 모두 실행하기 위한 최대 동시 스레드 수를 지정합니다.

aevaluate

max_concurrency 인자는 세마포어를 사용해 동시 작업을 제한합니다. aevaluate는 각 예시에 대해 작업을 생성하며, 각 작업은 해당 예시의 타깃 함수와 모든 평가기를 실행합니다. max_concurrency 인자는 처리할 최대 동시 예시 수를 지정합니다.

캐싱 (Caching)

캐싱(Caching) 은 API 호출 결과를 디스크에 저장해 향후 실험을 더 빠르게 만듭니다. LANGSMITH_TEST_CACHE 환경 변수를 쓰기 권한이 있는 유효한 폴더 경로로 설정하세요. 이후 동일한 API 호출을 수행하는 실험은 새 요청을 만들지 않고 캐시된 결과를 재사용합니다.

더 알아보기 (Learn more)