예시 데이터 형식

LangSmith는 데이터셋의 예시를 다음과 같이 저장해요.

출처: 문서

본문

필드 이름	타입	설명
id	UUID	예시의 고유 식별자.
name	string	예시의 이름.
created_at	datetime	이 예시가 생성된 시간
modified_at	datetime	이 예시가 마지막으로 수정된 시간
inputs	object	예시의 입력 맵.
outputs	object	실행에서 생성된 출력의 맵 또는 집합.
dataset_id	UUID	예시가 속한 데이터셋
source_run_id	UUID	LangSmith `Run`에서 생성된 예시의 경우, 해당 실행의 ID
source_thread_id	string	스레드 또는 스레드 내 실행에서 생성된 예시의 경우, 해당 스레드의 ID
metadata	object	예시에 저장할 수 있는 사용자 또는 SDK 정의 추가 정보 맵.

예시가 평가에서 어떻게 사용되는지 자세히 알아보려면 LLM 애플리케이션 평가하기 하우투 가이드를 읽어 보세요.

outputs 필드는 어서션(assertions) — 검토자가 올바른 답변에 대해 작성한 자유 형식 주장 — 을 담을 수도 있어요. 오프라인 평가기는 이를 reference_outputs["assertions"]에서 읽습니다.