Together AI

Together AI

Together AI의 모델을 Docker Agent에서 사용하는 방법을 설명해요. 오픈 모델을 가장 많이 호스팅하는 곳 중 하나에서 OpenAI 호환 API로 쓸 수 있어요.

출처: 문서

본문

Together AI는 오픈 모델을 가장 많이 호스팅하는 곳 중 하나예요. Llama, Qwen, DeepSeek, Kimi, GLM 등을 OpenAI 호환 API로 제공해요. Docker Agent에는 Together AI를 기본 제공 alias 프로바이더로 지원하고 있어요.

설정

  • Together AI 설정에서 API 키를 만드세요.
export TOGETHER_API_KEY=your-api-key

사용법

인라인 문법

Together AI를 쓰는 가장 간단한 방법:

agents:
  root:
    model: together/meta-llama/Llama-3.3-70B-Instruct-Turbo
    description: Assistant using Together AI
    instruction: You are a helpful assistant.

네임드 모델 (Named Model)

파라미터를 더 세밀하게 제어하려면:

models:
  together_model:
    provider: together
    model: meta-llama/Llama-3.3-70B-Instruct-Turbo
    temperature: 0.7
    max_tokens: 8192

agents:
  root:
    model: together_model
    description: Assistant using Together AI
    instruction: You are a helpful assistant.

사용 가능한 모델

Together AI는 방대하고 계속 바뀌는 오픈웨이트 모델 카탈로그를 제공해요. 현재 모델 ID, 컨텍스트 제한, 가격은 Together AI 모델 라이브러리에서 확인하세요.

모델 설명
meta-llama/Llama-3.3-70B-Instruct-Turbo Llama 3.3 70B, 범용 채팅과 도구 호출
Qwen/Qwen3-235B-A22B-Instruct-2507-tput Qwen3 235B mixture-of-experts instruct 모델
deepseek-ai/DeepSeek-V3 DeepSeek-V3, 강력한 코딩과 추론

모델 ID는 대소문자를 구분하고 카탈로그가 나열하는 방식 그대로 전달해야 해요.

동작 방식

Together AI는 Docker Agent의 기본 제공 alias로 구현돼 있어요:

Together AI는 채팅 템플릿이 하나보다 많은 선행 시스템 메시지를 거부할 수 있는 오픈웨이트 모델을 앞세우기 때문에, Docker Agent는 이 프로바이더에서 소스별 시스템 메시지를 하나로 합쳐 줘요.

예시: 코드 어시스턴트

agents:
  coder:
    model: together/Qwen/Qwen3-235B-A22B-Instruct-2507-tput
    description: Code assistant using Qwen3 on Together AI
    instruction: |
      You are an expert programmer.
      Write clean, well-documented code and follow language best practices.
    toolsets:
      - type: filesystem
      - type: shell
      - type: think

더 알아보기 (Learn more)