Groq

Groq

Groq의 초고속 추론 엔진에서 Llama 같은 오픈 모델을 쓰고 싶다면 GroqModel을 쓰면 돼요. 설치하고 API 키를 환경 변수로 설정한 뒤 모델 이름으로 바로 에이전트를 만들면 됩니다. 커스텀 Provider나 HTTP 클라이언트를 넘겨서 세부 동작을 조절할 수도 있어요.

출처: 공식문서

설치

GroqModel을 쓰려면 pydantic-ai를 설치하거나 pydantic-ai-slim을 groq 옵션 그룹과 함께 설치해야 해요.

Terminal

pip install "pydantic-ai-slim[groq]"

Terminal

uv add "pydantic-ai-slim[groq]"

설정

Groq API를 쓰려면 console.groq.com/keys에 가서 API 키를 생성하는 곳을 찾아보면 돼요.

GroqModelName에는 사용 가능한 Groq 모델 목록이 들어 있어요.

환경 변수

API 키를 받았으면 환경 변수로 설정해요.

Terminal

export GROQ_API_KEY='your-api-key'

이제 GroqModel을 이름으로 쓸 수 있어요.

from pydantic_ai import Agent

agent = Agent('groq:llama-3.3-70b-versatile')
...

또는 모델 이름만으로 직접 초기화할 수도 있어요.

from pydantic_ai import Agent
from pydantic_ai.models.groq import GroqModel

model = GroqModel('llama-3.3-70b-versatile')
agent = Agent(model)
...

provider 인자

provider 인자로 커스텀 Provider를 제공할 수 있어요.

from pydantic_ai import Agent
from pydantic_ai.models.groq import GroqModel
from pydantic_ai.providers.groq import GroqProvider

model = GroqModel(
    'llama-3.3-70b-versatile', provider=GroqProvider(api_key='your-api-key')
)
agent = Agent(model)
...

커스텀 httpx.AsyncClient로 GroqProvider를 커스터마이즈할 수도 있어요.

from httpx import AsyncClient

from pydantic_ai import Agent
from pydantic_ai.models.groq import GroqModel
from pydantic_ai.providers.groq import GroqProvider

custom_http_client = AsyncClient(timeout=30)
model = GroqModel(
    'llama-3.3-70b-versatile',
    provider=GroqProvider(api_key='your-api-key', http_client=custom_http_client),
)
agent = Agent(model)
...

SDK 재시도

provider가 만드는 AsyncGroq 클라이언트도 실패한 요청을 자체적으로 재시도해요. OpenAPI 클라이언트를 모델로 삼았기 때문에 기본값이 max_retries=2예요. 재시도 정책을 오직 transport에만 두고 싶다면 groq_client=AsyncGroq(max_retries=0)을 넘기세요. 이 레이어가 어디에 놓이는지는 Provider SDK retries를 보세요.

더 알아보기 (Learn more)