LangSmith Chat
LangSmith Chat
Chat을 사용하면 데이터를 수동으로 뒤지지 않아도 traces, 대화 스레드(threads), 프롬프트(prompts)에서 인사이트를 얻을 수 있어요. 자연어 질문을 던지면 에이전트 성능을 빠르게 이해하고, 문제를 디버깅하며, 사용자 감정을 분석할 수 있습니다.
Chat은 아래 LangSmith UI의 각 위치에서 오른쪽 하단 모서리에 표시됩니다:
- Observability & Debugging(관측성 및 디버깅):
- Projects(프로젝트): 한 프로젝트의 runs를 탐색하고 필터링합니다.
- Trace pages(트레이스 페이지): 개별 runs와 실행 trace를 분석합니다.
- Thread views(스레드 뷰): 대화 스레드와 사용자 상호작용을 이해합니다.
- Engine(엔진): 감지된 이슈와 연결된 traces를 조사합니다.
- Prompt Engineering(프롬프트 엔지니어링):
- Playground: 프롬프트를 편집하고 최적화합니다.
- Prompt Hub pages(프롬프트 허브 페이지): 공유된 프롬프트를 탐색하고 이해합니다.
- Evaluation & Testing(평가 및 테스트):
- Dataset Experiments(데이터셋 실험): 실험 결과를 분석하고 runs를 비교합니다.
- Dataset Examples(데이터셋 예제): 데이터셋 구조를 탐색하고 이해합니다.
- Annotation Queues(어노테이션 큐): runs를 검토하고 정보에 기반한 어노테이션 결정을 내립니다.
- Evaluators(평가기): AI 지원으로 평가기를 만들고 다듬습니다.
출처: 문서
본문
시작하기 (Get started)
Chat 사용을 시작하기 전에, 사용 중인 모델의 API key를 추가해야 합니다.
LangSmith UI에서 API key가 workspace secret으로 설정되어 있는지 확인하세요.
- Settings(설정) 로 이동한 뒤 Secrets(비밀) 탭으로 이동합니다.
- Add secret(비밀 추가) 을 선택하고 키 환경 변수(예:
OPENAI_API_KEY또는ANTHROPIC_API_KEY)를 입력하고, API key를 Value(값) 으로 입력합니다. - Save secret(비밀 저장) 을 선택합니다.
Note: LangSmith UI에서 workspace secrets를 추가할 때, secret 키가 모델 제공자가 기대하는 환경 변수 이름과 일치하는지 확인하세요.
Note: 제공자가 OAuth2
client_credentials로 인증하는 경우, 대신 모델 구성(model configuration)에서 자격 증명을 구성하세요. 이 경우 workspace secrets는 필요하지 않습니다. OAuth client credentials를 참조하세요.
Note: Chat은 LangSmith의 egress IP 주소에서 모델 제공자를 호출합니다. 모델 제공자(또는 그 앞의 프록시)가 IP로 트래픽을 제한하는 경우, Allowlist IP addresses에 나열된 LangSmith egress IP를 허용 목록에 추가하세요.
지원 모델 (Supported models)
Chat은 기본적으로 다음 모델 제공자를 지원합니다:
- Anthropic (Claude)
- OpenAI
- Google Gemini
- AWS Bedrock
- Groq
- Mistral
- xAI
- DeepSeek
- Fireworks AI
Playground Settings에서 구성한 사용자 지정 모델도, 해당 구성에서 Available in Chat 토글을 활성화하면 사용할 수 있습니다. 어떤 사용자 지정 모델을 사용할 수 있는지는 workspace 관리자가 관리합니다.
키보드 단축키 (Keyboard shortcuts)
| 동작 | Mac | Windows/Linux |
|---|---|---|
| Chat 열기/닫기 토글 | Cmd+I |
Ctrl+I |
| 현재 스레드 지우기 | Cmd+Shift+O |
Ctrl+Shift+O |
관측성 (Observability)
Projects (프로젝트)
프로젝트의 run 목록에서 Chat은 프로젝트 전체의 runs를 탐색하고 필터링하며, 데이터셋을 만들고 예제를 추가할 수 있습니다. Chat을 사용하면 결과를 수동으로 페이지를 넘기지 않고도 traces 전체에서 무슨 일이 일어나고 있는지 빠르게 살펴볼 수 있습니다.
예시 질문:
- "지난 24시간 동안 실패한 run을 모두 보여줘"
- "어떤 run이 가장 오래 걸렸지?"
- "실패한 run을 내 테스트 데이터셋에 추가해줘"
- "이번 주에 몇 개의 run이 에러를 냈지?"
Trace pages (트레이스 페이지)
개별 trace에서 Chat은 run 데이터와 실행 궤적(trajectory)을 분석합니다. Chat은 run metadata를 포함한 전체 trace 컨텍스트(입력, 출력, 중간 단계, 구성)를 검토하여 무슨 일이 있었는지 이해하고 개선할 부분을 찾는 데 도움을 줍니다.
예시 질문:
- "여기서 에이전트가 더 잘할 수 있었던 게 있나요?"
- "이 run은 왜 실패했지?"
- "이 trace에서 가장 시간이 오래 걸린 부분은 뭐야?"
- "이 trace에서 무슨 일이 있었는지 요약해줘"
Thread views (스레드 뷰)
Threads(스레드) 탭 아래에서 Chat은 대화 스레드를 분석하여 사용자 감정, 대화 결과, 상호작용 패턴을 이해하는 데 도움을 줍니다. Chat을 사용해 사용자의 불편 지점을 파악하고 문제가 해결되었는지 이해할 수 있습니다.
예시 질문:
- "사용자가 답답해한 것 같나요?"
- "사용자가 겪고 있는 문제는 뭐야?"
- "사용자의 문제가 해결됐나요?"
- "이 스레드의 주요 주제는 뭐였지?"
Engine (엔진)
Engine 페이지에서 Chat을 열면 감지된 이슈와 연결된 traces를 조사할 수 있습니다. Chat은 선택한 이슈를 이해하거나 여러 Engine 이슈에 걸친 질문에 답하는 데 도움을 줍니다. 예를 들어:
예시 질문:
- "무엇이 잘못됐나요?"
- "왜 이게 플래그되었지?"
- "제안된 수정 사항을 설명해줘"
- "내 가장 시급한 이슈들은 뭐야?"
- "새로 생긴 이슈가 몇 개야?"
프롬프트 엔지니어링 (Prompt engineering)
Playground
Playground에서 Chat은 프롬프트를 편집하고 최적화하는 데 도움을 줍니다. Optimize prompt(프롬프트 최적화), Generate a tool(도구 생성), Generate an output schema(출력 스키마 생성) 같은 자동화 옵션을 사용하거나, 프롬프트를 편집하라는 사용자 지정 지침을 Chat에 줄 수 있습니다. Chat은 메시지, 도구, 출력 스키마, 예제를 업데이트하며 playground 상태를 직접 수정할 수 있어, 대화식으로 프롬프트를 반복 개선할 수 있습니다.
예시 질문:
- "이탈리아어로 응답하게 해줘"
- "사용자의 역할에 대한 맥락을 더 추가해줘"
- "어조를 좀 더 전문적으로 만들어줘"
- "지침을 단순화해줘"
Prompt Hub pages (프롬프트 허브 페이지)
LangSmith Hub에서 프롬프트를 볼 때, Chat은 프롬프트의 구조, 메시지, 도구, 구성을 이해하는 데 도움을 줍니다. 이는 공유된 프롬프트를 탐색하고 배우는 데 유용합니다.
예시 질문:
- "이 프롬프트는 무엇을 하나요?"
- "이 프롬프트는 어떤 도구를 사용하나요?"
- "이 프롬프트의 구조를 설명해줘"
- "이 프롬프트의 핵심 지침은 무엇인가요?"
평가 (Evaluation)
Dataset Experiments (데이터셋 실험)
Datasets(데이터셋) 페이지의 Experiments(실험) 탭에서 Chat은 실험 결과를 분석하고 서로 다른 실험의 runs를 비교하는 데 도움을 줍니다. Chat은 패턴을 식별하고, 성능을 요약하며, 어떤 접근 방식이 가장 잘 작동하는지 이해하는 데 도움을 줄 수 있습니다.
예시 질문:
- "어떤 실험이 가장 잘 수행했나요?"
- "이 runs들의 주요 차이점은 무엇인가요?"
- "이 실험의 결과를 요약해줘"
- "실패에서 어떤 패턴이 보이나요?"
Dataset Examples (데이터셋 예제)
Datasets(데이터셋) 페이지의 Examples(예제) 탭에서 Chat은 데이터셋 구조를 이해하고, 예제를 탐색하며, 데이터 패턴을 식별하는 데 도움을 줍니다. 이는 작업 중인 데이터가 무엇인지 이해하고 실험용 데이터셋을 준비하는 데 유용합니다.
예시 질문:
- "이 데이터셋에는 어떤 유형의 데이터가 있나요?"
- "에러가 있는 예제를 보여줘"
- "입력에서 어떤 패턴이 보이나요?"
- "이 데이터셋에는 예제가 몇 개 있나요?"
Annotation Queues (어노테이션 큐)
Annotation Queues(어노테이션 큐) 에서 Chat은 어노테이션 결정을 내리기 전에 runs를 분석하는 데 도움을 줍니다. runs를 개별적으로 검토하든 쌍으로 비교하든, Chat은 run 동작, 에러, 실행 패턴에 대한 인사이트를 제공하여 점수 매기기에 참고할 수 있게 합니다.
예시 질문:
- "이 run에서 무엇이 잘못됐나요?"
- "이 run에서 무슨 일이 있었는지 요약해줘"
- "이 두 run을 비교해줘"
- "이걸 점수 매길 때 무엇을 고려해야 하나요?"
Evaluators (평가기)
Evaluators(평가기) 빌더에서 Chat은 평가기 로직을 작성하고 다듬는 데 도움을 줍니다. Chat은 평가기 코드를 생성하고, 개선 사항을 제안하며, 예제에 대해 평가기를 테스트하는 데 도움을 줄 수 있습니다.
예시 질문:
- "할루시네이션을 검사하는 평가기를 작성해줘"
- "이 평가기의 정확도를 개선해줘"
- "이 평가기는 무엇을 검사하나요?"
- "엣지 케이스에 대한 처리를 추가해줘"
다음 단계 (What's next)
Chat이 탐색을 도와주는 기능들에 대해 자세히 알아보세요:
- Observability: LLM 애플리케이션의 추적(tracing)과 모니터링에 대해 자세히 알아보세요.
- Threads: LangSmith에서 스레드가 어떻게 작동하는지 이해하세요.
- Prompt Engineering: Playground에서 프롬프트를 만들고 반복 개선하세요.
- Evaluation: 애플리케이션을 체계적으로 평가하고 테스트하세요.