LangSmith Chat

LangSmith Chat

LangSmith에서 Chat을 사용해 트레이스, 스레드, 프롬프트, 평가를 분석해요. LangSmith Chat(이전 이름 Polly)은 LangSmith 워크스페이스에 직접 내장되어 애플리케이션 데이터를 분석하고 이해하도록 도와줍니다.

출처: 문서

본문

LangSmith Chat(이전 Polly)은 애플리케이션 데이터를 분석하고 이해하도록 돕기 위해 LangSmith 워크스페이스에 직접 내장되어 있습니다.

Chat은 데이터를 수동으로 파헤치지 않고도 트레이스, 대화 스레드, 프롬프트에서 인사이트를 얻도록 도와줍니다. 자연어 질문을 하면 에이전트 성능을 빠르게 이해하고, 문제를 디버깅하며, 사용자 감정을 분석할 수 있습니다.

Chat은 LangSmith UI 내 다음 위치의 오른쪽 하단 모서리에 나타납니다:

관측성 및 디버깅:

• Projects: 프로젝트 전체에서 런을 탐색하고 필터링합니다.
• Trace pages: 개별 런과 실행 트레이스를 분석합니다.
• Thread views: 대화 스레드와 사용자 상호작용을 이해합니다.
• Engine: 감지된 이슈와 연결된 트레이스를 조사합니다.

프롬프트 엔지니어링:

• Playground: 프롬프트를 편집하고 최적화합니다.
• Prompt Hub pages: 공유된 프롬프트를 살펴보고 이해합니다.

평가 및 테스트:

• Dataset Experiments: 실험 결과를 분석하고 런을 비교합니다.
• Dataset Examples: 데이터셋 구조를 살펴보고 이해합니다.
• Annotation Queues: 런을 검토하고 정보에 기반한 어노테이션 결정을 내립니다.
• Evaluators: AI 도움으로 평가기를 구축하고 다듬습니다.

시작하기

Chat을 사용하기 전에 사용 중인 모델에 대한 API 키를 추가해야 합니다:

LangSmith UI에서 API 키가 워크스페이스 시크릿으로 설정되어 있는지 확인하세요.

1. Settings로 이동한 다음 Secrets 탭으로 이동합니다.
2. Add secret을 선택하고 키 환경 변수(예: OPENAI_API_KEY 또는 ANTHROPIC_API_KEY)와 API 키를 Value로 입력합니다.
3. Save secret을 선택합니다.

참고: LangSmith UI에서 워크스페이스 시크릿을 추가할 때, 시크릿 키가 모델 제공자가 기대하는 환경 변수 이름과 일치하는지 확인하세요.

참고: 제공자가 OAuth2 client_credentials로 인증한다면, 대신 모델 구성에서 자격 증명을 구성하세요. 이 경우 워크스페이스 시크릿이 필요하지 않습니다. OAuth client credentials를 참고하세요.

참고: Chat은 LangSmith의 egress IP 주소에서 모델 제공자를 호출합니다. 모델 제공자(또는 그 앞의 프록시)가 IP로 트래픽을 제한한다면, Allowlist IP addresses에 나열된 LangSmith egress IP를 허용 목록으로 지정하세요.

지원되는 모델

Chat은 기본적으로 다음 모델 제공자를 지원합니다:

• Anthropic (Claude)
• OpenAI
• Google Gemini
• AWS Bedrock
• Groq
• Mistral
• xAI
• DeepSeek
• Fireworks AI

Playground Settings에서 구성한 커스텀 모델도 해당 구성에서 Available in Chat 토글을 활성화하면 사용할 수 있습니다. 워크스페이스 관리자가 어떤 커스텀 모델을 사용할 수 있는지 관리합니다.

키보드 단축키

동작	Mac	Windows/Linux
Chat 열기/닫기 전환	Cmd+I	Ctrl+I
현재 스레드 지우기	Cmd+Shift+O	Ctrl+Shift+O

관측성

Projects

프로젝트의 런 목록에서 Chat은 전체 프로젝트의 런을 탐색하고 필터링하며, 데이터셋을 만들고 예제를 추가할 수 있습니다. Chat을 사용해 결과를 수동으로 탐색하지 않고도 트레이스 전체에서 무슨 일이 일어나고 있는지 빠르게 살펴보세요.

질문 예시:

• "지난 24시간 동안 실패한 모든 런을 보여줘"
• "어떤 런이 가장 오래 걸렸지?"
• "실패한 런을 내 테스트 데이터셋에 추가해줘"
• "이번 주에 오류가 난 런이 몇 개지?"

Trace pages

개별 트레이스에서 Chat은 런 데이터와 실행 궤적을 분석합니다. 런 메타데이터, 입력, 출력, 중간 단계, 구성을 포함한 전체 트레이스 컨텍스트를 검토해 무슨 일이 일어났는지 이해하고 개선 영역을 파악하도록 돕습니다.

질문 예시:

• "여기서 에이전트가 더 잘할 수 있었던 게 있나?"
• "이 런이 왜 실패했지?"
• "이 트레이스에서 가장 시간이 많이 걸린 건 뭐지?"
• "이 트레이스에서 일어난 일을 요약해줘"

Thread views

Threads 탭 아래에서 Chat은 대화 스레드를 분석해 사용자 감정, 대화 결과, 상호작용 패턴을 이해하도록 돕습니다. Chat을 사용해 사용자 불편 지점을 식별하고 문제가 해결되었는지 이해할 수 있습니다.

질문 예시:

• "사용자가 좌절한 것 같았나?"
• "사용자가 겪는 문제가 뭐지?"
• "사용자의 문제가 해결됐나?"
• "이 스레드의 주요 주제는 뭐였지?"

Engine

Engine 페이지에서 Chat을 열어 감지된 이슈와 연결된 트레이스를 조사하세요. Chat은 선택한 이슈를 이해하거나 여러 Engine 이슈에 걸친 질문에 답하는 데 도움을 줄 수 있습니다. 예:

질문 예시:

• "무엇이 잘못됐지?"
• "이게 왜 플래그되었지?"
• "제안된 수정을 설명해줘"
• "가장 긴급한 이슈는 뭐지?"
• "새 이슈가 몇 개지?"

프롬프트 엔지니어링

Playground

Playground에서 Chat은 프롬프트를 편집하고 최적화하도록 돕습니다. Optimize prompt, Generate a tool, Generate an output schema 같은 자동 옵션을 사용하거나, Chat에 프롬프트 편집에 대한 커스텀 지침을 줄 수 있습니다. Chat은 playground 상태를 직접 수정할 수 있어서 — 메시지, 도구, 출력 스키마, 예제를 업데이트 — 대화식으로 프롬프트를 반복할 수 있습니다.

질문 예시:

• "이탈리아어로 응답하게 바꿔줘"
• "사용자의 역할에 대한 맥락을 더 추가해줘"
• "말투를 더 전문적으로 만들어줘"
• "지침을 단순화해줘"

Prompt Hub pages

LangSmith Hub에서 프롬프트를 볼 때 Chat은 프롬프트의 구조, 메시지, 도구, 구성을 이해하도록 돕습니다. 이는 공유 프롬프트를 살펴보고 배우는 데 유용합니다.

질문 예시:

• "이 프롬프트는 뭘 하는 거야?"
• "이 프롬프트는 어떤 도구를 사용하지?"
• "이 프롬프트의 구조를 설명해줘"
• "이 프롬프트의 핵심 지시 사항은 뭐지?"

평가

Dataset Experiments

Datasets 페이지의 Experiments 탭에서 Chat은 실험 결과를 분석하고 서로 다른 실험에서 런을 비교하도록 돕습니다. Chat은 패턴을 식별하고 성능을 요약하며 어떤 접근 방식이 가장 잘 작동하는지 이해하도록 도와줍니다.

질문 예시:

• "어떤 실험이 가장 잘 수행했지?"
• "이 런들의 주요 차이점은 뭐지?"
• "이 실험의 결과를 요약해줘"
• "실패에서 어떤 패턴이 보여?"

Dataset Examples

Datasets 페이지의 Examples 탭에서 Chat은 데이터셋 구조를 이해하고, 예제를 탐색하며, 데이터 패턴을 식별하도록 돕습니다. 이는 어떤 데이터로 작업하는지 이해하고 실험을 위한 데이터셋을 준비하는 데 유용합니다.

질문 예시:

• "이 데이터셋에는 어떤 유형의 데이터가 있지?"
• "오류가 있는 예제를 보여줘"
• "입력에서 어떤 패턴이 보여?"
• "이 데이터셋에는 예제가 몇 개지?"

Annotation Queues

Annotation Queues에서 Chat은 어노테이션 결정을 내리기 전에 런을 분석하도록 돕습니다. 런을 개별적으로 검토하든 쌍으로 비교하든, Chat은 점수 매기에 정보를 제공하는 런 동작, 오류, 실행 패턴에 대한 인사이트를 제공합니다.

질문 예시:

• "이 런에서 무엇이 잘못됐지?"
• "이 런에서 일어난 일을 요약해줘"
• "이 두 런을 비교해줘"
• "이걸 점수 매길 때 고려해야 할 것은 뭐지?"

Evaluators

Evaluators 빌더에서 Chat은 평가기 로직을 작성하고 다듬도록 돕습니다. Chat은 평가기 코드를 생성하고, 개선을 제안하며, 예제에 대해 평가기를 테스트하도록 도와줍니다.

질문 예시:

• "환각(hallucination)을 확인하는 평가기를 작성해줘"
• "이 평가기의 정확도를 개선해줘"
• "이 평가기는 무엇을 확인하지?"
• "엣지 케이스 처리를 추가해줘"

다음 단계

Chat이 탐색하도록 도와주는 기능에 대해 자세히 알아보세요:

• 관측성 (Observability) — LLM 애플리케이션 트레이싱과 모니터링 자세히 알아보기
• 스레드 (Threads) — LangSmith에서 스레드가 어떻게 작동하는지 이해하기
• 프롬프트 엔지니어링 (Prompt Engineering) — Playground에서 프롬프트 만들고 반복하기
• 평가 (Evaluation) — 애플리케이션 체계적으로 평가하고 테스트하기

더 알아보기

• 관측성 기능은 Observability 문서를 참고하세요.
• 프롬프트 엔지니어링은 Prompt engineering 문서를 확인해 보세요.