실험 결과 비교하기

LLM 애플리케이션을 반복 개선할 때(모델이나 프롬프트를 바꾸는 등)는 서로 다른 실험의 결과를 비교하고 싶을 수 있어요. LangSmith는 실험 간의 주요 차이, 회귀, 개선을 파악할 수 있는 비교 뷰를 제공합니다.

출처: 문서

본문

LLM 애플리케이션을 반복 개선하는 동안 (모델 또는 프롬프트를 변경하는 것과 같이) 서로 다른 실험의 결과를 비교하고 싶을 수 있습니다.

LangSmith는 서로 다른 실험 간의 주요 차이, 회귀, 개선을 파악할 수 있는 비교 뷰를 지원합니다.

The Experiments view in the UI with 3 experiments selected and the Compare button highlighted.

비교 뷰 오른쪽 상단에서 다양한 표시 옵션을 전환할 수 있습니다.

Table display options

비교 뷰에 필터를 적용해 특정 예제로 좁히려면 아이콘을 클릭합니다. 필터의 일반적인 예:

전체 실험 뷰에 필터를 적용하는 것 외에도 개별 열에도 필터를 적용할 수 있습니다. 열 상단의 아이콘을 선택해 해당 열 데이터에 대한 사용 가능한 필터를 봅니다.

비교 뷰에서 특정 피드백 키나 메트릭을 표시/숨기려면 아이콘을 클릭합니다.

비교 뷰 오른쪽 상단의 세 가지 테이블 뷰 아이콘 중 하나를 선택합니다:

Compact: 각 예제에 대한 실험 결과의 미리보기를 보여줍니다.
Full: 각 런의 입력, 출력, 기준 출력의 전체 텍스트를 보여줍니다. 출력이 테이블에 표시하기 너무 길면 Expand를 클릭해 전체 내용을 볼 수 있습니다.
Diff: 각 런의 실험 출력 사이의 텍스트 차이를 보여줍니다. 한 번에 2개 실험에서만 지원됩니다. 자세한 내용은 나란히 diff 보기를 참고하세요.

여러 표시 유형을 다루는 세 가지 내장 실험 뷰가 있습니다: Default, YAML, JSON.

비교 뷰에서 빨간색은 소스 실험 대비 어떤 피드백 키에서 *회귀(regressed)*한 런을 강조하고, 녹색은 *개선(improved)*된 런을 강조합니다. 각 피드백 열 상단에서 소스 실험보다 더 좋거나 나빴던 런 수를 볼 수 있습니다.

각 열 상단의 회귀 또는 개선 버튼을 클릭해 해당 실험에서 회귀/개선된 런만 표시합니다.

The comparison view comparing 4 experiments with regressions in red and improvements in green.

JSON 및 YAML 표시 스타일에서 두 실험을 비교할 때 실험 diff 모드를 켜서 실험 출력을 비교할 수 있습니다. diff 모드는 출력 간의 수정을 강조하며, 구조화된 출력 비교에 특히 유용할 수 있습니다.

The comparison diff mode

실험 간 회귀를 추적하려면:

비교 뷰 상단에서 실험 아이콘 위에 마우스를 올리고 드롭다운에서 Set as source experiment를 선택합니다. 이 드롭다운에서 실험을 추가하거나 제거할 수도 있습니다. 기본적으로 처음 선택한 실험이 소스로 설정됩니다.
Feedback 열 내에서 각 피드백 키에 대해 높은 점수가 더 나은지 여부를 구성할 수 있습니다. 이 기본 설정이 저장됩니다. 기본적으로는 높은 점수가 더 좋은 것으로 가정됩니다.

아무 행이나 클릭하면 비교된 실험에 대한 해당 예제의 세부 정보 패널이 열립니다.

패널 오른쪽 상단의 토글을 사용해 두 모드 사이를 전환합니다:

두 개 이상의 실험을 비교할 때 패널은 한 번에 두 실험을 표시합니다. 헤더를 사용해 어떤 실험과 비교하는지 전환합니다.

실험 메타데이터를 기반으로 차트의 x축 라벨을 구성할 수 있습니다.

비교 뷰 오른쪽 상단의 Charts 드롭다운에서 메타데이터 키를 선택해 x축 라벨을 변경합니다.

x-axis dropdown with experiment metadata