LLM Gateway

하나의 LangSmith API 키로 프로바이더 전반의 모델에 접근하고, 호출을 트레이싱하며 지출 및 데이터 보호 정책을 시행하는 방법을 알려드릴게요.

하나의 LangSmith API 키로 구성된 프로바이더 전반의 모델을 호출합니다. 모델 ID를 변경해 프로바이더를 전환하며, LLM Gateway는 모든 모델 호출을 트레이싱하고 중앙 거버넌스 정책을 적용합니다.

참고: 베타: LLM Gateway는 베타 상태입니다.

게이트웨이는 BYOC에서도 사용할 수 있으며, 데이터 플레인 내부에서 실행됩니다. /gateway 경로 접두사 뒤의 데이터 플레인 엔드포인트로 요청을 보내고, 해당 데이터 플레인의 워크스페이스에 범위가 지정된 API 키로 인증합니다. 자세한 내용은 BYOC 데이터 플레인 사용을 참고하세요.

참고: 셀프 호스팅 가용성: LLM Gateway는 LangSmith v0.16.0 셀프 호스팅 안정 릴리스에 포함되지 않습니다. 향후 안정 릴리스에서 사용할 수 있습니다. 관심을 표현하려면 LLM Gateway 셀프 호스팅 접근 요청을 제출하세요. 안정 릴리스 전에 v17 RC 버전이나 BYOC에서 LLM Gateway를 시도할 수도 있습니다.

출처: 문서

본문

첫 요청 만들기

정보: 관리자가 워크스페이스를 위해 한 번 게이트웨이 활성화, 프로바이더 시크릿 추가, 접근 부여를 해야 합니다. 설정 후 개발자는 워크스페이스 범위 LangSmith API 키만 있으면 됩니다.

키를 설정하고 표준 Chat Completions 요청을 만듭니다. 이 예제는 워크스페이스에 Anthropic 프로바이더 시크릿이 있다고 가정합니다:

export LANGSMITH_API_KEY="lsv2_..._....cbed3e"

curl https://gateway.smith.langchain.com/v1/chat/completions \
    -H "Authorization: Bearer $LANGS..._KEY" \
    -H "Content-Type: application/json" \
    -d '{"model":"anthropic/claude-sonnet-4-6","messages":[{"role":"user","content":"Hello!"}]}'

export LANGSMITH_API_KEY="lsv2_..._....cbed3e"

curl https://<data_plane_host>/gateway/v1/chat/completions \
    -H "Authorization: Bearer $LANGS..._KEY" \
    -H "Content-Type: application/json" \
    -d '{"model":"anthropic/claude-sonnet-4-6","messages":[{"role":"user","content":"Hello!"}]}'

200 응답은 게이트웨이, LangSmith API 키, 권한, 선택한 프로바이더 시크릿이 올바르게 구성되었음을 확인합니다. Python, TypeScript, 대체 API 형식, 문제 해결은 퀵스타트를 따르세요.

게이트웨이가 제공하는 것

하나의 키, 여러 프로바이더: 개발자는 프로바이더 키를 로컬에 저장하는 대신 LangSmith API 키로 인증합니다.
하나의 요청 형식, 여러 모델: 구성된 프로바이더 전반의 모델로 Chat Completions, Messages, Responses 사용.
내장 관측성: 모든 게이트웨이 호출은 LangSmith 트레이스로 나타납니다.
중앙 거버넌스: spend 한도, rate limit, 데이터 정책 적용.

표준 API 사용하기

애플리케이션이 이미 사용하는 요청 형식을 선택합니다. 형식은 호출할 수 있는 구성된 프로바이더를 제한하지 않습니다.

API format	Endpoint
OpenAI Chat Completions	`POST /v1/chat/completions`
Anthropic Messages	`POST /v1/messages`
OpenAI Responses	`POST /v1/responses`

model을 openai/gpt-5.4-mini, anthropic/claude-opus-5, azure/<deployment-name> 같은 프로바이더 접두사 자체 키 ID로 설정하거나, moonshotai/kimi-k3 같은 Gateway Credits 모델 슬러그를 사용합니다. 모델 ID가 업스트림 경로를 결정합니다. 선택한 프로바이더가 다른 네이티브 형식을 사용하면 게이트웨이가 요청·응답을 변환합니다.

BYOC에서 동일한 경로는 /gateway 접두사 뒤에 있습니다. 예: POST /gateway/v1/chat/completions.

기본 URL, 예제, 변환 동작, 리전 엔드포인트, BYOC 데이터 플레인 엔드포인트는 API 형식을 참고하세요.

자격 증명 관리 방식 선택

Option	Upstream credential	Setup and billing
자체 프로바이더 계정 사용	관리자가 워크스페이스 Provider Secrets에 프로바이더 키를 저장	프로바이더가 사용량을 사용자의 프로바이더 계정에 청구
Gateway Credits	LangChain이 업스트림 자격 증명 소유	프로바이더 시크릿 불필요. 호출은 LangSmith 계정에 청구

더 나아가기

퀵스타트: cURL, Python, TypeScript로 요청을 만들고 트레이스 보기.
관리자 설정: 게이트웨이 활성화, 프로바이더 자격 증명 추가, 개발자 접근 부여.

팁: Prompt Hub에 저장된 프롬프트와 함께 게이트웨이를 사용해야 하나요? 게이트웨이가 있는 Prompt Hub에서 두 환경 변수를 사용해 Prompt Hub 모델 호출을 게이트웨이로 라우팅하는 방법을 참고하세요.

프로바이더 네이티브 요청·응답 동작이 필요하신가요? 표준화 계층을 우회하려면 직접 모델 접근을 사용하세요. 표준 API의 고급 대안입니다.

추가 질문은 LangChain 지원에 문의하세요.

더 알아보기

퀵스타트 — 첫 요청.
관리자 설정 — 게이트웨이 활성화.