피드백 데이터 형식

피드백 데이터 형식

피드백(Feedback) 은 특정 트레이스 또는 중간 실행(스팬)에 대한 평가의 기준과 점수를 저장하는 LangSmith의 방식이에요. 피드백은 다양한 방법으로 생성될 수 있습니다:

출처: 문서

본문

  1. LLM 애플리케이션에서 트레이스와 함께 전송
  2. 앱에서 사용자가 인라인 또는 주석 큐로 생성
  3. 오프라인 평가 중 자동 평가기가 생성
  4. 온라인 평가기가 생성

피드백은 다음 필드를 가진 단순한 형식으로 저장됩니다:

필드 이름 타입 설명
id UUID 레코드 자체의 고유 식별자
created_at datetime 레코드가 생성된 타임스탬프
modified_at datetime 레코드가 마지막으로 수정된 타임스탬프
session_id UUID 실행이 속했던 실험 또는 추적 프로젝트의 고유 식별자. 실행에 대한 피드백 생성 시 필수.
run_id UUID 세션 내 특정 실행의 고유 식별자
start_time datetime 피드백 대상 실행의 시작 시간. 선택 사항이지만, 제공하면 LangSmith가 피드백을 더 빠르게 처리할 수 있음.
key string 피드백의 기준을 설명하는 키, 예: 'correctness'
score number 피드백 키와 연관된 숫자 점수
value string 점수와 연관된 값을 저장하도록 예약됨. 범주형 피드백에 유용.
comment string 레코드와 연관된 주석 또는 어노테이션. 주어진 점수에 대한 근거일 수 있음.
correction object 수정 세부정보가 있으면 저장하도록 예약됨
feedback_source object 피드백 소스에 대한 정보를 담은 객체
feedback_source.type string 피드백이 발생한 소스의 유형, 예: 'api', 'app', 'evaluator'
feedback_source.metadata object 추가 메타데이터용으로 예약됨, 현재는
feedback_source.user_id UUID 피드백을 제공한 사용자의 고유 식별자

다음은 위 형식의 피드백 레코드 JSON 표현 예시입니다:

{
  "created_at": "2024-05-05T23:23:11.077838",
  "modified_at": "2024-05-05T23:23:11.232962",
  "session_id": "c919298b-0af2-4517-97a2-0f98ed4a48f8",
  "run_id": "e26174e5-2190-4566-b970-7c3d9a621baa",
  "key": "correctness",
  "score": 1.0,
  "value": null,
  "comment": "I gave this score because the answer was correct.",
  "correction": null,
  "id": "62104630-c7f5-41dc-8ee2-0acee5c14224",
  "feedback_source": {
    "type": "app",
    "metadata": null,
    "user_id": "ad52b092-1346-42f4-a934-6e5521562fab"
  }
}

더 알아보기 (Learn more)