Groq

Groq

Groq의 모델을 Docker Agent에서 사용하는 방법을 설명해요. LPU 추론 엔진으로 매우 낮은 지연 시간의 오픈웨이트 모델을 쓸 수 있어요.

출처: 문서

본문

Groq는 자사의 LPU 추론 엔진에서 오픈웨이트(open-weight) 모델을 OpenAI 호환 API로 제공해요. 매우 낮은 지연 시간에 초점을 맞추고 있어요. Docker Agent에는 Groq를 기본 제공 alias 프로바이더로 지원하고 있어요.

설정

  • Groq Console에서 API 키를 만드세요.
export GROQ_API_KEY=your-api-key

사용법

인라인 문법

Groq를 쓰는 가장 간단한 방법:

agents:
  root:
    model: groq/llama-3.3-70b-versatile
    description: Assistant using Groq
    instruction: You are a helpful assistant.

네임드 모델 (Named Model)

파라미터를 더 세밀하게 제어하려면:

models:
  groq_model:
    provider: groq
    model: llama-3.3-70b-versatile
    temperature: 0.7
    max_tokens: 8192

agents:
  root:
    model: groq_model
    description: Assistant using Groq
    instruction: You are a helpful assistant.

사용 가능한 모델

Groq는 회전하는 오픈웨이트 모델 카탈로그를 호스팅해요. 현재 모델 ID, 컨텍스트 제한, 속도 제한은 Groq 모델 문서에서 확인하세요.

모델 설명
llama-3.3-70b-versatile Llama 3.3 70B, 믿을 수 있는 범용 채팅과 도구 호출
llama-3.1-8b-instant Llama 3.1 8B, 가장 빠르고 저렴
openai/gpt-oss-120b GPT-OSS 120B, 강력한 추론과 도구 호출
openai/gpt-oss-20b GPT-OSS 20B, 컴팩트 추론 모델
qwen/qwen3-32b Qwen3 32B, 추론과 도구 호출
meta-llama/llama-4-scout-17b-16e-instruct Llama 4 Scout MoE

모델 ID는 대소문자를 구분하고 카탈로그가 나열하는 방식 그대로 전달해야 해요.

동작 방식

Groq는 Docker Agent의 기본 제공 alias로 구현돼 있어요:

예시: 코드 어시스턴트

agents:
  coder:
    model: groq/llama-3.3-70b-versatile
    description: Code assistant using Llama 3.3
    instruction: |
      You are an expert programmer.
      Write clean, well-documented code and follow language best practices.
    toolsets:
      - type: filesystem
      - type: shell
      - type: think

더 알아보기 (Learn more)