API 인증·호출 — OpenAI 호환 엔드포인트

API 인증·호출 — OpenAI 호환 엔드포인트

Nebius Token Factory는 추론과 파인튜닝에 OpenAI 호환 API를 제공해요. 그래서 openai SDK를 그대로 쓰되 base URL만 바꿔도 돼요.

출처: https://docs.tokenfactory.nebius.com/api-reference/introduction

Python에서 OpenAI 클라이언트를 만들 때 base_url을 https://api.tokenfactory.nebius.com/v1/로 지정하고, API 키를 넣으면 끝이에요.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.tokenfactory.nebius.com/v1/",
    api_key=os.environ.get("NEBIUS_API_KEY"),
)

completion = client.chat.completions.create(
    model="meta-llama/Meta-Llama-3.1-70B-Instruct",
    messages=[{"role": "user", "content": "Hello!"}],
)
print(completion.choices[0].message.content)

curl로도 같은 요청을 보낼 수 있어요. 모델 이름은 meta-llama/Meta-Llama-3.1-70B-Instruct처럼 허브 경로 형태를 써요.

curl 'https://api.tokenfactory.nebius.com/v1/chat/completions'   -X 'POST'   -H 'Content-Type: application/json'   -H 'Accept: */*'   -H "Authorization: Bearer $NEBIUS_API_KEY"   --data-binary '{"temperature":0.6,"model":"meta-llama/Meta-Llama-3.1-70B-Instruct","messages":[{"role":"user","content":"Hello!"}]}'

인증은 Authorization: Bearer <API_KEY> 헤더로 해요. API 키는 절대 클라이언트 코드에 노출하면 안 되고, 환경변수나 서버 측 보안으로 관리해요. 키가 노출돼도 플랫폼에서 자동으로 폐기할 수 있어요. 키는 토큰 팩토리의 API keys 섹션에서 이름을 정해 만들 수 있고, 생성 후에는 다시 열람할 수 없으니 따로 보관해야 해요.

더 알아보기