OpenAI 호환성

OpenAI 호환성 (OpenAI Compatibility)

Groq API는 OpenAI의 클라이언트 라이브러리와 대부분 호환되도록 설계됐어요. 그래서 기존에 OpenAI SDK로 작성한 애플리케이션을 코드 몇 줄만 바꿔 Groq의 추론 속도로 옮겨 탈 수 있어요. 물론 Groq 자체의 Python 라이브러리와 TypeScript 라이브러리도 함께 제공하고 있어요.

출처: GroqCloud — OpenAI Compatibility

OpenAI 클라이언트로 Groq 설정하기

OpenAI 클라이언트 라이브러리에서 Groq를 쓰려면 두 가지만 바꾸면 돼요. api_key에 Groq API 키를 넣고, base_url을 https://api.groq.com/openai/v1로 지정하는 거예요.

import os
import openai

client = openai.OpenAI(
    base_url="https://api.groq.com/openai/v1",
    api_key=os.environ.get("GROQ_API_KEY"),
)

API 키는 콘솔의 키 페이지에서 찾을 수 있어요. base URL이 핵심이에요. 이 한 줄이 OpenAI 엔드포인트 대신 Groq의 OpenAI 호환 엔드포인트로 요청을 보내게 만들어요.

아직 미지원인 OpenAI 기능

Groq API는 대부분 OpenAI 호환이지만, 아직 지원하지 않는 기능도 몇 가지 있어요. 특히 텍스트 완성(Text Completions) 쪽인데, 다음 필드를 보내면 400 오류가 반환돼요.

  • logprobs
  • logit_bias
  • top_logprobs
  • messages[].name

그리고 n 값을 보낼 때는 반드시 1이어야 해요.

Responses API

Groq는 Responses API도 지원해요. 이는 텍스트와 이미지 입력을 받아 텍스트 출력을 만드는 더 진보된 응답 생성 인터페이스예요.

다음 단계

이런 기능이 Groq API에서 지원되길 바란다면, 콘솔 우측 상단의 조직 메뉴에서 "Chat with us"를 통해 "Feature Request"를 제출할 수 있어요.

더 알아보기