Model APIs

Model APIs — 호스팅 LLM을 OpenAI/Anthropic 호환 엔드포인트로

모델 배포 없이 바로 고성능 LLM을 쓰고 싶다면 Model APIs가 정답이에요. Baseten이 관리하는 인프라 위에서 지원되는 모델들을 OpenAI Chat Completions API와 Anthropic Messages API(beta) 호환 엔드포인트로 호출할 수 있죠. 기존 OpenAI나 Anthropic SDK의 base URL과 API 키만 바꾸면 되고, model 이름 대신 Baseten 모델 슬러그를 지정합니다.

반대로 지원 목록에 없는 모델, 전용 GPU, 하드웨어와 스케일링을 직접 제어하고 싶은 경우에는 전용 배포(Truss)를 선택하면 되고요. Model APIs는 이렇게 "빠르게 시작" vs "완전한 제어"라는 두 가지 출발점을 제공하는 셈이에요.

출처: Baseten - Model APIs

특징 지원

모든 Model API 모델은 도구 호출(tool calling), 구조화된 출력(structured outputs), JSON 모드를 지원합니다. 일부 모델은 리즈닝, 비전, 오디오까지 지원하고요. 지원되는 모델 목록과 특징은 문서의 supported models 표에서 확인할 수 있어요.

추론 실행하기

OpenAI Chat Completions API와 Anthropic Messages API 중 하나를 고른 뒤 base URL, API 키, 모델 슬러그를 설정하면 됩니다.

OpenAI SDK 사용하기

Chat Completions API는 https://inference.baseten.co/v1/chat/completions에서 사용할 수 있어요. Python 예시는 이렇게 생겼죠.

client = OpenAI(
    base_url="https://inference.baseten.co/v1",
    api_key=os.environ["BASETEN_API_KEY"],
)
response = client.chat.completions.create(
    model="zai-org/GLM-5.2",
    messages=[{"role": "user", "content": "What is gradient descent?"}],
)

Baseten CLI가 설치되어 있다면 baseten model-api predict --model zai-org/GLM-5.2 --content "What is gradient descent?"처럼 단일 메시지도 보낼 수 있어요. 여러 메시지 대화는 --data로 전체 body를 넘깁니다.

Anthropic SDK 사용하기

Anthropic SDK는 base URL을 https://inference.baseten.co로 두고, API 키로 Baseten 키를 쓰되 SDK가 기본으로 보내는 x-api-key 대신 Authorization 헤더로 승인하도록 오버라이드해요.

client = anthropic.Anthropic(
    base_url="https://inference.baseten.co",
    api_key=API_KEY,
    default_headers={"Authorization": f"Bearer {API_KEY}"},
)
response = client.messages.create(
    model="zai-org/GLM-5.2",
    max_tokens=4096,
    messages=[{"role": "user", "content": "What is gradient descent?"}],
)

사용 가능한 모델 보기

현재 모델 카탈로그와 가격, 컨텍스트 윈도우, 지원 기능을 baseten model-api list로 확인할 수 있어요. 개별 모델 상세는 baseten model-api describe --model <slug>, REST로는 /v1/models 엔드포인트를 쓰면 됩니다.

마이그레이션

OpenAI에서 옮겨오는 경우 클라이언트 설정만 세 가지만 바꾸면 돼요. OpenAI API 키를 Baseten API 키로 교체하고, base URL을 https://inference.baseten.co/v1로 변경하고, model 이름을 Baseten 모델 슬러그로 갈아끼우면 되죠. Anthropic도 같은 흐름에 default_headers 오버라이드가 하나 더 붙는 구조예요.

더 알아보기

  • Reasoning — 복잡한 작업을 위한 확장 사고 제어
  • Vision — 텍스트와 함께 이미지·비디오 전송
  • Pricing and limits — 요금과 속도 제한 파악