직접 모델 접근

직접 모델 접근

게이트웨이 표준화 계층을 사용하지 않고 프로바이더별 LLM Gateway 경로를 통해 프로바이더 API에 직접 접근하는 방법을 알려드릴게요.

참고: LLM Gateway는 베타 상태입니다.

직접 모델 접근은 각 프로바이더 API를 프로바이더별 게이트웨이 경로로 노출합니다. 게이트웨이는 여전히 인증, 프로바이더 시크릿, 정책, 트레이싱을 처리하지만 요청과 응답을 다른 프로바이더의 API 형식으로 변환하지 않습니다.

프로바이더 전반의 모델 호출은 표준 모델 접근을 선호하세요. 프로바이더 API에 직접 접근하고, 네이티브 요청·응답 동작을 보존하며, 게이트웨이의 표준화 계층을 피하려면 직접 모델 접근을 사용하세요.

출처: 문서

본문

프로바이더 경로 선택

리전 게이트웨이 기본 URL에 프로바이더 경로를 추가합니다:

Provider Gateway path Secret name
Anthropic /anthropic ANTHROPIC_API_KEY
AWS Bedrock /bedrock AWS_BEARER_TOKEN_BEDROCK
Azure Foundry /azure AZURE_FOUNDRY_API_KEY, AZURE_FOUNDRY_RESOURCE_NAME
Baseten /baseten BASETEN_API_KEY
Fireworks /fireworks FIREWORKS_API_KEY
Google Gemini /gemini GOOGLE_API_KEY
Gemini Enterprise Agent Platform /vertex VERTEX_SERVICE_ACCOUNT_JSON
OpenAI /openai OPENAI_API_KEY

Gateway Credits 모델은 프로바이더별 경로가 아닌 표준 엔드포인트를 사용합니다. 이 호스팅 모델은 자체 프로바이더 시크릿이 필요 없습니다.

프로바이더 SDK 구성하기

각 프로바이더 SDK의 기본 URL을 직접 게이트웨이 경로로 설정하고, LangSmith API 키를 프로바이더 API 키로 사용합니다:

export LANGSMITH_API_KEY="lsv2_..._....cbed3e"
export BASE_URL="https://gateway.smith.langchain.com"

export ANTHROPIC_BASE_URL="$BASE_URL/anthropic"
export OPENAI_BASE_URL="$BASE_URL/openai/v1"
export GOOGLE_GEMINI_BASE_URL="$BASE_URL/gemini"

export ANTHROPIC_API_KEY="$LANGSMITH_API_KEY"
export OPENAI_API_KEY="$LANGSMITH_API_KEY"
export GEMINI_API_KEY="$LANGSMITH_API_KEY"
export GOOGLE_API_KEY="$LANGSMITH_API_KEY"

게이트웨이는 워크스페이스의 Provider Secrets에서 실제 프로바이더 키를 해석하므로 프로바이더 키를 로컬에 저장할 필요가 없습니다.

import os

from openai import OpenAI

client = OpenAI(
    base_url=os.environ["OPENAI_BASE_URL"],
    api_key=os.environ["LANGSMITH_API_KEY"],
)
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "ping"}],
)
print(response.choices[0].message.content)

import os

import anthropic

client = anthropic.Anthropic(
    base_url=os.environ["ANTHROPIC_BASE_URL"],
    api_key=os.environ["LANGSMITH_API_KEY"],
)
message = client.messages.create(
    model="claude-opus-5",
    max_tokens=1024,
    messages=[{"role": "user", "content": "ping"}],
)
print(message.content[0].text)

직접 경로는 프로바이더 접두사 없이 프로바이더의 네이티브 모델 이름을 사용합니다.

LangChain과 Deep Agents 구성하기

LangChain 채팅 모델과 Deep Agents(Deep Agents Code 포함)는 LANGSMITH_GATEWAY 환경 변수를 통해 이러한 프로바이더 경로에 도달합니다:

export LANGSMITH_API_KEY="lsv2_..."
export LANGSMITH_GATEWAY="true"

각 지원 통합은 자체 프로바이더 경로를 추가하므로 ChatAnthropic은 https://gateway.smith.langchain.com/anthropic을 호출하고 ChatOpenAI는 https://gateway.smith.langchain.com/openai/v1을 호출합니다. 표준 엔드포인트로 요청을 라우팅하려면 LLM Gateway 퀵스타트를 참고하세요.

리전 게이트웨이 사용하기

LangSmith 계정이 리전 인스턴스에 있다면 해당 리전 게이트웨이를 사용하고 프로바이더 경로를 추가하세요. 예를 들어 GCP EU에서 직접 Anthropic 접근에는 https://eu.gateway.smith.langchain.com/anthropic을 사용합니다.

함께 보기

더 알아보기