Groq
Groq
이 문서에서는 pydantic-ai에서 GroqModel을 설치하고 설정하는 방법을 알려드려요. Groq의 API를 사용하려면 먼저 API 키를 생성하고, 환경 변수로 설정한 뒤 모델을 이름으로 사용하거나 직접 초기화하면 돼요. 커스텀 Provider나 http_client를 넘겨서 구성을 더 세밀하게 조정할 수도 있어요.
출처: 문서
본문
Install
GroqModel을 사용하려면 pydantic-ai를 설치하거나, groq 옵션 그룹과 함께 pydantic-ai-slim을 설치해야 해요:
Terminal
pip install "pydantic-ai-slim[groq]"
Terminal
uv add "pydantic-ai-slim[groq]"
Configuration
Groq를 API를 통해 사용하려면 console.groq.com/keys로 이동해서 API 키를 생성할 수 있는 곳을 찾아보세요.
GroqModelName에는 사용 가능한 Groq 모델 목록이 들어 있어요.
Environment variable
API 키를 확보했다면 환경 변수로 설정할 수 있어요:
Terminal
export GROQ_API_KEY='your-api-key'
그 다음 이름으로 GroqModel을 사용할 수 있어요:
from pydantic_ai import Agent
agent = Agent('groq:llama-3.3-70b-versatile')
...
또는 모델 이름만으로 모델을 직접 초기화할 수도 있어요:
from pydantic_ai import Agent
from pydantic_ai.models.groq import GroqModel
model = GroqModel('llama-3.3-70b-versatile')
agent = Agent(model)
...
provider argument
provider 인자를 통해 커스텀 Provider를 제공할 수 있어요:
from pydantic_ai import Agent
from pydantic_ai.models.groq import GroqModel
from pydantic_ai.providers.groq import GroqProvider
model = GroqModel(
'llama-3.3-70b-versatile', provider=GroqProvider(api_key='your-api-key')
)
agent = Agent(model)
...
커스텀 httpx.AsyncClient를 사용해 GroqProvider를 맞춤 구성할 수도 있어요:
from httpx import AsyncClient
from pydantic_ai import Agent
from pydantic_ai.models.groq import GroqModel
from pydantic_ai.providers.groq import GroqProvider
custom_http_client = AsyncClient(timeout=30)
model = GroqModel(
'llama-3.3-70b-versatile',
provider=GroqProvider(api_key='your-api-key', http_client=custom_http_client),
)
agent = Agent(model)
...
SDK retries
프로바이더가 만드는 AsyncGroq 클라이언트도 실패한 요청을 자체적으로 재시도해요 — 기본값은 max_retries=2로, 모델로 삼은 OpenAI 클라이언트와 같아요. 재시도 정책을 전송 계층에만 맡기려면 groq_client=AsyncGroq(max_retries=0)을 전달하세요. 이 계층이 어디에 위치하는지는 Provider SDK 재시도를 참고하세요.