Gateway Credits

프로바이더 키 없이, LangSmith로만 인증해 모델에 접근하는 방법을 알려드릴게요.

참고: LLM Gateway는 베타 상태입니다.

Gateway Credits를 사용하면 프로바이더 계정이나 키를 설정하지 않고 표준 LLM Gateway API를 통해 LangChain 호스팅 모델을 호출할 수 있습니다. LangSmith API 키만으로 인증합니다. 프로바이더 시크릿이 필요 없습니다.

SemIf 가용성과 사용법은 의사결정 모델을 참고하세요.

게이트웨이는 모델 ID를 기준으로 각 요청을 라우팅합니다. moonshotai/kimi-k3 같은 호스팅 모델 슬러그는 Gateway Credits를 사용합니다. anthropic/claude-opus-5처럼 구성된 자체 키(bring-your-own-key) 프로바이더로 시작하는 모델 ID는 해당 프로바이더의 시크릿을 사용합니다.

기본 URL 지원되는 모든 클라이언트를 표준 게이트웨이 API로 지정하세요:
https://gateway.smith.langchain.com/v1
LangSmith API 키를 bearer 토큰으로 인증합니다.

리전별 기본 URL은 리전 게이트웨이를 참고하세요.

출처: 문서

본문

사용 가능한 모델

요청 본문의 ID로 호스팅 모델을 선택합니다. 모델 ID는 대소문자를 구분하지 않습니다.

Model ID	Description
`moonshotai/kimi-k2.6`	Kimi K2.6 by Moonshot AI. A strong general-purpose model. Powered by Fireworks Inference.
`moonshotai/kimi-k3`	Kimi K3 by Moonshot AI. Powered by Fireworks Inference.

구성된 자체 키 프로바이더와 호스팅 모델을 포함해 워크스페이스에서 사용 가능한 모든 모델을 표준 모델 목록 엔드포인트로 나열합니다:

curl https://gateway.smith.langchain.com/v1/models \
    -H "Authorization: Bearer $LANGS..._KEY"

반환된 모델 ID를 프롬프트 요청의 model 필드에 표시된 그대로 사용하세요.

사전 요구사항

Gateway Credits를 사용하기 전에:

조직이 유료 요금제(Developer, Plus, Startup, 또는 Premier)에 있습니다.
gateway:invoke와 workspaces:read 권한을 포함하는 역할에 연결된 워크스페이스 범위 LangSmith API 키가 있습니다. 잘 모르겠으면 관리자 설정을 참고하세요.

호출하기

OpenAI 호환 클라이언트를 https://gateway.smith.langchain.com/v1로 지정하고, LangSmith API 키로 인증하며, model을 호스팅 모델 ID로 설정합니다.

curl https://gateway.smith.langchain.com/v1/chat/completions \
    -H "Authorization: Bearer $LANGS..._KEY" \
    -H "Content-Type: application/json" \
    -d '{"model":"moonshotai/kimi-k3","messages":[{"role":"user","content":"ping"}]}'

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://gateway.smith.langchain.com/v1",
    api_key=os.environ["LANGSMITH_API_KEY"],
)
response = client.chat.completions.create(
    model="moonshotai/kimi-k3",
    messages=[{"role": "user", "content": "ping"}],
)
print(response.choices[0].message.content)

import os

from langchain.chat_models import init_chat_model

model = init_chat_model(
    model="moonshotai/kimi-k3",
    model_provider="openai",
    base_url="https://gateway.smith.langchain.com/v1",
    api_key=os.environ["LANGSMITH_API_KEY"],
)
print(model.invoke("ping").content)

지원 엔드포인트

크레딧으로 지원되는 채팅 모델은 자체 키 모델과 동일한 표준 API 형식을 사용합니다:

Method and path	Behavior
`POST /v1/chat/completions`	OpenAI Chat Completions, including streaming.
`POST /v1/messages`	Anthropic Messages, including streaming.
`POST /v1/responses`	OpenAI Responses.
`GET /v1/models`	Lists models available to the workspace.

요청 예제와 변환 동작은 API 형식을 참고하세요.

가격

Gateway Credits는 Enterprise를 제외한 모든 유료 요금제에서 사용할 수 있습니다. 요금제 세부정보와 현재 요율은 가격 페이지를 참고하세요. Gateway Credits는 **LangChain Credit Units(LCUs)**로 표시됩니다. 각 호출은 토큰 사용량에 따라 LCU를 소비합니다.

표준 게이트웨이 spend 정책이 호스팅 모델 트래픽에 적용되므로, 구성한 조직·워크스페이스·API 키·사용자 캡도 Gateway Credit 사용을 규제합니다. 자체 키 프로바이더에 사용하는 것과 동일한 도구로 Gateway Credit 소비를 제어할 수 있습니다. 예를 들어 특정 API 키를 모든 프로바이더를 통틀어 월 $200로 제한하거나, 호스팅 모델 호출을 포함하는 워크스페이스 전체 일일 한도를 설정하세요.

트레이싱

모든 게이트웨이 트래픽과 마찬가지로 호스팅 모델 호출은 LangSmith에 트레이싱됩니다. 트레이스가 기록되는 위치와 접근 제어 방법은 트레이스, Engine, 접근 제어를 참고하세요.

다음 단계

퀵스타트: 첫 게이트웨이 프록시 호출 만들기.
API 형식: Chat Completions, Messages, Responses로 모델 호출.
Spend 정책: Gateway Credit 사용량에 비용 한도 추가.
직접 모델 접근: 프로바이더 네이티브 API와 모델 ID 사용.

더 알아보기

퀵스타트 — 첫 게이트웨이 호출.
API 형식 — 모델 호출 형식.