Baseten
Baseten
Baseten AI 모델을 Docker Agent와 함께 사용해요.
출처: 문서
본문
개요 (Overview)
Baseten은 OpenAI 호환 API를 통해 AI 모델을 제공해요. Docker Agent는 Baseten을 별칭 제공자로 내장 지원해요.
설정 (Setup)
- Baseten에서 API 키 받기
- 환경 변수 설정:
export BASETEN_API_KEY=your-api-key
사용법 (Usage)
인라인 구문 (Inline Syntax)
Baseten을 사용하는 가장 간단한 방법:
agents:
root:
model: baseten/deepseek-ai/DeepSeek-V3.1
description: Assistant using Baseten
instruction: You are a helpful assistant.
이름 있는 모델 (Named Model)
파라미터를 더 제어하려면:
models:
baseten_model:
provider: baseten
model: deepseek-ai/DeepSeek-V3.1
temperature: 0.7
max_tokens: 8192
agents:
root:
model: baseten_model
description: Assistant using Baseten
instruction: You are a helpful assistant.
사용 가능한 모델 (Available Models)
Baseten은 Model APIs를 통해 다양한 오픈 모델을 호스팅해요. 현재 모델 카탈로그는 Baseten 설명서를 확인하세요.
| Model | Description |
|---|---|
deepseek-ai/DeepSeek-V3.1 |
DeepSeek V3.1 모델 |
moonshotai/Kimi-K2.5 |
Moonshot Kimi K2.5 모델 |
openai/gpt-oss-120b |
GPT-OSS 120B 모델 |
zai-org/GLM-5 |
GLM-5 모델 |
동작 원리 (How It Works)
Baseten은 Docker Agent의 내장 별칭으로 구현돼요:
- API 유형: OpenAI 호환 (
openai_chatcompletions) - Base URL:
https://inference.baseten.co/v1 - 토큰 변수:
BASETEN_API_KEY
예제: 코드 어시스턴트 (Example: Code Assistant)
agents:
coder:
model: baseten/deepseek-ai/DeepSeek-V3.1
description: Code assistant using DeepSeek
instruction: |
You are an expert programmer using DeepSeek V3.1.
Write clean, well-documented code.
Follow best practices for the language being used.
toolsets:
- type: filesystem
- type: shell
- type: think