LangSmith MCP Server

LangSmith MCP Server

Model Context Protocol(MCP) 서버를 사용해 언어 모델이 LangSmith에서 대화 기록, 프롬프트, 실행, 데이터셋, 실험, 청구 정보를 가져오게 하는 방법을 알려드릴게요.

경고: 더 이상 사용하지 않음 — 대신 LangSmith Remote MCP를 사용하세요.

LangSmith는 이제 LangSmith Cloud와 셀프 호스팅 LangSmith v0.15 이상에서 OAuth 인증 원격 MCP 서버를 호스팅합니다. Cloud 엔드포인트:

Region	URL
GCP US	https://api.smith.langchain.com/mcp
GCP EU	https://eu.api.smith.langchain.com/mcp
GCP APAC	https://apac.api.smith.langchain.com/mcp
AWS US	https://aws.api.smith.langchain.com/mcp

BYOC 엔드포인트: https://<data_plane_url>/api/mcp. 여기서 <data_plane_url>은 BYOC 데이터 플레인의 URL입니다.

셀프 호스팅 엔드포인트: https://<your-langsmith-host>/api/mcp.

이 페이지에서 문서화된 독립 실행형 서버와 동일한 도구 표면을 노출하지만, 동적 클라이언트 등록이 있는 OAuth 2.1로 인증합니다 — API 키가 없고, 별도 배포도 없으며, 헤더 구성도 필요 없습니다.

아래 문서화된 독립 실행형 서버는 v0.15 이전 버전의 셀프 호스팅 배포와 직접 서버를 실행하는 것을 선호하는 사용자를 위한 지원 경로로 남아 있습니다.

LangSmith MCP Server는 LangSmith와 통합되는 Model Context Protocol(MCP) 서버입니다. MCP 호환 클라이언트(예: AI 코딩 어시스턴트)가 LangSmith 워크스페이스에서 대화 기록, 프롬프트, 실행과 트레이스, 데이터셋, 실험, 청구 사용량을 읽을 수 있게 합니다.

출처: 문서

본문

예제 사용 사례

• 대화 기록: "프로젝트 'my-chatbot'의 스레드 'thread-123'에서 대화 기록을 가져와"
• 프롬프트 관리: "모든 공개 프롬프트 가져와" 또는 "'legal-case-summarizer' 프롬프트의 템플릿을 가져와"
• 트레이스와 실행: "프로젝트 'alpha'에서 최신 루트 실행 10개를 가져와" 또는 "UUID로 트레이스의 모든 실행을 가져와"
• 데이터셋: "chat 유형의 데이터셋 나열" 또는 "데이터셋 'customer-support-qa'에서 예제 읽기"
• 실험: "지연 시간과 비용 메트릭을 포함한 데이터셋 'my-eval-set'의 실험 나열"
• 청구: "2025년 9월 청구 사용량 가져와"

팁: 코드나 Fleet에서 서버 사용하기

• Python 애플리케이션에서 원격 MCP 서버(이것 포함)를 연결·사용하려면 MCP (Model Context Protocol)를 참고하세요.
• Fleet에서 이 서버를 연결·사용하려면 Remote MCP servers를 참고하세요.

퀵스타트 (호스팅)

LangSmith MCP Server의 호스팅 버전은 LangSmith Remote MCP를 통해 제공되므로, 서버를 직접 실행하지 않고 연결할 수 있습니다.

• URL: https://api.smith.langchain.com/mcp
• 인증: 인터랙티브 MCP 클라이언트는 OAuth 2.1을 사용합니다. 프로그래매틱 API 키 접근은 LangSmith Remote MCP 인증을 참고하세요.

예제 (Cursor mcp.json):

{
  "mcpServers": {
    "langsmith": {
      "url": "https://api.smith.langchain.com/mcp"
    }
  }
}

MCP 클라이언트는 처음 연결할 때 OAuth 플로우를 완료하기 위해 브라우저 창을 엽니다.

사용 가능한 도구

대화와 스레드

Tool	Description
get_thread_history	대화 스레드의 메시지 기록을 가져옵니다. 문자 기반 페이지네이션 사용: page_number(1부터 시작)를 전달하고 반환된 total_pages를 사용해 더 많은 페이지를 요청하세요. 선택: max_chars_per_page, preview_chars.

프롬프트 관리

Tool	Description
list_prompts	가시성(공개/비공개)과 limit로 선택적 필터링하여 프롬프트를 나열합니다.
get_prompt_by_name	정확한 이름으로 단일 프롬프트를 가져옵니다 (세부정보와 템플릿).
push_prompt	문서 전용: 프롬프트를 만들고 LangSmith에 푸시하는 방법.

트레이스와 실행

Tool	Description
fetch_runs	하나 이상의 프로젝트에서 실행(트레이스, 도구, 체인 등)을 가져옵니다. 필터(run_type, error, is_root), FQL(filter, trace_filter, tree_filter), 정렬을 지원합니다. trace_id가 설정되면 문자 기반 페이지네이션되고, 그렇지 않으면 limit까지 한 배치를 반환합니다. 항상 limit과 page_number를 전달하세요.
list_projects	이름, 데이터셋, 세부 수준으로 선택적 필터링하여 프로젝트를 나열합니다.

데이터셋과 예제

Tool	Description
list_datasets	ID, 유형, 이름, 메타데이터로 필터링하여 데이터셋을 나열합니다.
list_examples	데이터셋 ID/이름 또는 예제 ID로 데이터셋의 예제를 나열합니다; filter, metadata, splits, 선택적 as_of 버전 지원.
read_dataset	ID 또는 이름으로 데이터셋 하나를 읽습니다.
read_example	선택적 as_of 버전과 함께 ID로 예제 하나를 읽습니다.
create_dataset	문서 전용: 데이터셋 만드는 방법.
update_examples	문서 전용: 데이터셋 예제 업데이트 방법.

실험과 평가

Tool	Description
list_experiments	데이터셋의 실험(참조) 프로젝트를 나열합니다. reference_dataset_id 또는 reference_dataset_name 필요. 메트릭(지연 시간, 비용, 피드백) 반환.
run_experiment	문서 전용: 실험과 평가 실행 방법.

청구

Tool	Description
get_billing_usage	날짜 범위에 대한 조직 청구 사용량(예: 트레이스 수)을 가져옵니다. 선택적 워크스페이스 필터.

페이지네이션 (문자 기반)

큰 페이로드를 반환하는 도구는 응답이 크기 한도 내에 유지되도록 문자 예산 페이지네이션을 사용합니다:

• 사용처: get_thread_history와 fetch_runs(trace_id 설정 시).
• 파라미터: 각 요청에 page_number(1부터 시작) 전송. 선택: max_chars_per_page(기본 25000, 최대 30000), preview_chars("... (+N chars)"로 긴 문자열 잘라냄).
• 응답: page_number, total_pages, 페이지 페이로드 포함. page_number = 2, 그 다음 3처럼 total_pages까지 다시 호출해 요청하세요.
• 이점: 페이지는 항목 수가 아닌 문자 수로 구성됩니다. 커서나 서버 측 상태 없음 — 페이지 번호만 있으면 됩니다.

설치 (로컬 실행)

서버를 로컬에서 실행하거나(또는 셀프 호스팅 LangSmith 엔드포인트 사용) 설치하고 MCP 클라이언트를 구성하려면:

사전 요구사항

1. uv(Python 패키지 설치자) 설치:

   curl -LsSf https://astral.sh/uv/install.sh | sh
   

2. 패키지 설치:

   uv run pip install --upgrade langsmith-mcp-server
   

MCP 클라이언트 구성

서버를 MCP 클라이언트 구성에 추가합니다. command 값에는 which uvx의 경로를 사용하세요.

PyPI / uvx:

{
  "mcpServers": {
    "LangSmith API MCP Server": {
      "command": "/path/to/uvx",
      "args": ["langsmith-mcp-server"],
      "env": {
        "LANGSMITH_API_KEY": "your_langsmith_api_key",
        "LANGSMITH_WORKSPACE_ID": "your_workspace_id",
        "LANGSMITH_ENDPOINT": "https://api.smith.langchain.com"
      }
    }
  }
}

소스에서 (먼저 langsmith-mcp-server 클론):

{
  "mcpServers": {
    "LangSmith API MCP Server": {
      "command": "/path/to/uv",
      "args": [
        "--directory",
        "/path/to/langsmith-mcp-server",
        "run",
        "langsmith_mcp_server/server.py"
      ],
      "env": {
        "LANGSMITH_API_KEY": "your_langsmith_api_key",
        "LANGSMITH_WORKSPACE_ID": "your_workspace_id",
        "LANGSMITH_ENDPOINT": "https://api.smith.langchain.com"
      }
    }
  }
}

/path/to/uv, /path/to/uvx, /path/to/langsmith-mcp-server를 실제 경로로 바꾸세요.

Docker 배포 (HTTP-streamable)

Docker로 서버를 HTTP 서비스로 실행해 클라이언트가 HTTP-streamable 프로토콜로 연결할 수 있습니다.

1. 빌드 및 실행:

   docker build -t langsmith-mcp-server .
   docker run -p 8000:8000 langsmith-mcp-server
   

   Dockerfile과 컨텍스트는 langsmith-mcp-server 저장소를 사용하세요.
2. LANGSMITH-API-KEY 헤더(및 선택적으로 LANGSMITH-WORKSPACE-ID, LANGSMITH-ENDPOINT)로 MCP 클라이언트를 http://localhost:8000/mcp에 연결합니다.
3. 헬스 체크 (인증 없음):

   curl http://localhost:8000/health
   

전체 Docker 및 HTTP-streamable 세부정보는 LangSmith MCP Server 저장소를 참고하세요.

배포 개요

LangSmith Cloud(smith.langchain.com, eu.smith.langchain.com, apac.smith.langchain.com 또는 aws.smith.langchain.com)에 연결하려면 호스팅 MCP 서버를 사용하세요. Cloud 또는 셀프 호스팅 LangSmith에 연결하려면 서버를 로컬에서 실행하고 LANGSMITH_ENDPOINT를 설정하세요. 셀프 호스팅 배포의 경우 VPC 내부에서 Docker 이미지를 통해 서버를 실행할 수도 있습니다.

환경 변수

Variable	Required	Description
LANGSMITH_API_KEY	Yes	인증용 LangSmith API 키.
LANGSMITH_WORKSPACE_ID	No	API 키가 여러 워크스페이스에 접근할 때의 워크스페이스 ID.
LANGSMITH_ENDPOINT	No	API 엔드포인트 URL (셀프 호스팅 또는 커스텀 리전용). 기본값: https://api.smith.langchain.com.

호스팅 서버의 경우 동일한 이름을 헤더로 사용하세요: LANGSMITH-API-KEY, LANGSMITH-WORKSPACE-ID, LANGSMITH-ENDPOINT.

TypeScript 구현

공식 Python 서버의 커뮤니티 유지 관리 TypeScript/Node.js 포트가 있습니다. 실행: LANGSMITH_API_KEY=your-key npx langsmith-mcp-server.

소스와 패키지: GitHub · npm. amitrechavia가 유지 관리합니다.

더 알아보기

• LangSmith Remote MCP — 권장되는 OAuth 호스팅 MCP 접근 방식.
• MCP (Model Context Protocol) — Python 애플리케이션에서 MCP 서버 연결·사용.