Cerebras
Cerebras
Cerebras 모델을 Docker Agent와 함께 사용해요.
출처: 문서
본문
개요 (Overview)
Cerebras는 웨이퍼 스케일 하드웨어에서 GPT-OSS와 GLM 같은 오픈 웨이트 모델을 OpenAI 호환 API로 제공하며, 가장 높은 tokens/sec 중 일부를 제공해요. 그 속도는 대기 시간에 민감한 코딩 워크플로에 강력한 적합이에요. Docker Agent는 Cerebras를 별칭 제공자로 내장 지원해요.
설정 (Setup)
- Cerebras Cloud 콘솔에서 API 키 생성.
- 환경 변수 설정:
export CEREBRAS_API_KEY=your-api-key
사용법 (Usage)
인라인 구문 (Inline Syntax)
Cerebras를 사용하는 가장 간단한 방법:
agents:
root:
model: cerebras/gpt-oss-120b
description: Assistant using Cerebras
instruction: You are a helpful assistant.
이름 있는 모델 (Named Model)
파라미터를 더 제어하려면:
models:
cerebras_model:
provider: cerebras
model: gpt-oss-120b
temperature: 0.7
max_tokens: 8192
agents:
root:
model: cerebras_model
description: Assistant using Cerebras
instruction: You are a helpful assistant.
사용 가능한 모델 (Available Models)
Cerebras는 선별된 오픈 웨이트 모델 집합을 호스팅해요. 현재 모델 ID, 컨텍스트 한도, 가격은 Cerebras models 설명서를 확인하세요.
| Model | Description |
|---|---|
gpt-oss-120b |
도구 호출이 있는 오픈 웨이트 GPT-OSS 추론 모델 |
zai-glm-4.7 |
도구 호출이 있는 Z.AI GLM-4.7 추론 모델 |
모델 ID는 대소문자를 구분하며 카탈로그가 나열한 대로 정확히 전달해야 해요. Cerebras는 내장 카탈로그에 없는 추가 모델도 제공할 수 있어요; 그것들도 동작하지만 로컬에서 기본 능력 메타데이터로 해석돼요.
동작 원리 (How It Works)
Cerebras는 Docker Agent의 내장 별칭으로 구현돼요:
- API 유형: OpenAI 호환 (
openai_chatcompletions) - Base URL:
https://api.cerebras.ai/v1 - 토큰 변수:
CEREBRAS_API_KEY
Cerebras가 채팅 템플릿이 단일 선행 시스템 메시지만 받아들일 수 있는 오픈 웨이트 모델을 앞에 두기 때문에, Docker Agent는 요청을 보내기 전에 소스별 시스템 메시지(에이전트 지침 + 각 toolset의 지침)를 하나로 합쳐요.
예제: 코드 어시스턴트 (Example: Code Assistant)
agents:
coder:
model: cerebras/gpt-oss-120b
description: Fast code assistant using Cerebras
instruction: |
You are an expert programmer.
Write clean, well-documented code and follow language best practices.
toolsets:
- type: filesystem
- type: shell
- type: think