트레이스와 런을 인라인으로 어노테이션하기

LangSmith에서는 애플리케이션 안에서 트레이스에 직접 피드백을 남겨 어노테이션할 수 있어요. 사용자 댓글이나 특정 이슈에 대한 메모처럼 트레이스에 맥락을 더할 때 유용합니다. 한 번에 하나씩 세밀하게 검토하고 런에 피드백을 기록하고 싶다면, 어노테이션 큐로 보내는 방식도 함께 살펴볼게요.

출처: 문서

본문

LangSmith를 사용하면 애플리케이션 내에서 트레이스에 수동으로 피드백을 어노테이션할 수 있습니다. 이는 사용자 댓글 또는 특정 이슈에 대한 메모와 같이 트레이스에 맥락을 추가하는 데 유용할 수 있습니다. 트레이스를 인라인으로 어노테이션하거나, 트레이스를 어노테이션 큐로 보내 런을 하나씩 자세히 검사하고 피드백을 기록할 수 있습니다. 피드백 태그는 워크스페이스와 연결됩니다.

참고: 트레이스의 어떤 중간 런(span)에도 사용자 피드백을 연결할 수 있습니다. 루트 span만 되는 건 아닙니다. 이 기능은 RAG 파이프라인의 검색(retrieval) 단계나 생성(generation) 단계처럼, LLM 애플리케이션의 특정 부분을 비판적으로 평가할 때 유용합니다.

트레이스를 인라인으로 어노테이션하려면, 트레이스의 일부인 특정 런의 트레이스 뷰에서 점 3개 메뉴(...)를 열고 Notes를 클릭하세요.

그러면 워크스페이스와 연결된 피드백 태그 중에서 선택하고 특정 태그에 점수를 부여할 수 있는 패널이 열립니다. 독립된 주석(comment)을 추가할 수도 있습니다. 워크스페이스용 피드백 태그를 설정하려면 피드백 기준 설정을 따르세요. 패널 자체에서 새 피드백 기준을 설정할 수도 있습니다.

LangSmith UI의 인라인 피드백과 메모는 트레이스의 보존 등급(retention tier)을 변경하지 않습니다. 다른 작업으로 명시적으로 보존 기간을 연장하지 않는 한, 트레이스는 해당 프로젝트에 구성된 보존 기간을 유지합니다.

Annotation sidebar

표시된 키보드 단축키를 사용하면 어노테이션 과정을 더 빠르게 진행할 수 있습니다.

더 알아보기

워크스페이스에 대한 피드백 태그 설정은 Set up feedback criteria 문서를 참고하세요.
트레이스를 큐로 보내 하나씩 검토하는 방법은 Annotation queues 문서를 확인해 보세요.