TensorZero Quickstart — 5분 만에 시작
TensorZero Quickstart
이 가이드는 OpenAI 래퍼를 최소한의 TensorZero 배포로 업그레이드해 관측성과 파인튜닝 능력을 얻는 과정을 다룹니다.
최소 설정: tensorzero.toml
original OpenAI 호출을 그대로 재현할 수 있는 최소 설정 파일이면 충분합니다.
이 설정은 TensorZero Gateway 에 개방형 호출을 재현하는 데 필요한 모든 것을 알려줍니다.
배포
export OPENAI_API_KEY="..."
# config/tensorzero.toml 준비
curl -LO "https://raw.githubusercontent.com/tensorzero/tensorzero/refs/heads/main/examples/quickstart/docker-compose.yml"
docker compose up
Docker Compose 가 다음을 띄웁니다.
- ClickHouse DB — TensorZero 데이터 저장
- TensorZero Gateway — 추론 프록시
- TensorZero UI — http://localhost:4000
Rust 로 작성된 게이트웨이는 <1ms 오버헤드로 원래 OpenAI 호출을 재현하고 데이터를 저장합니다. Python 클라이언트, OpenAI 클라이언트(Python/Node), 또는 HTTP API 로 호출할 수 있습니다.
from tensorzero import TensorZeroGateway
with TensorZeroGateway.build_embedded(clickhouse_url="http://chuser:chpassword@localhost:8123/tensorzero",
config_file="config/tensorzero.toml") as client:
response = client.inference(function_name="generate_haiku",
input={"messages": [{"role": "user", "content": "Write a haiku about AI."}]})
UI 로 하는 것
- 관측성 — 개별 추론·함수 단위 데이터를 대시보드로 확인.
- 파인튜닝 — GPT-4o, Llama 3 같은 모델을 클릭 몇 번으로 파인튜닝하고, 설정 스니펫을
tensorzero.toml에 추가. 피드백·메트릭을 보내 큐레이션된 데이터셋으로 파인튜닝.
이후 추론-시간 최적화, 재시도·폴백, 프롬프트·모델 실험(A/B) 등 여러 기능을 쓸 수 있습니다.