GradientAI
GradientAI
LiteLLM은 GradientAI 모델에 네이티브 지원을 제공해요. GradientAI 모델을 사용하려면 LiteLLM 요청에서 gradient_ai/<model-name>으로 지정하세요.
출처: 문서
본문
API 키 & 엔드포인트
자격 증명과 엔드포인트를 환경 변수로 설정해요.
import os
os.environ['GRADIENT_AI_API_KEY'] = "your-api-key"
os.environ['GRADIENT_AI_AGENT_ENDPOINT'] = "https://api.gradient_ai.com/api/v1/chat" # default endpoint
샘플 사용법 (Sample Usage)
from litellm import completion
import os
os.environ['GRADIENT_AI_API_KEY'] = "your-api-key"
response = completion(
model="gradient_ai/model-name",
messages=[
{"role": "user", "content": "Hello, how are you?"}
],
)
print(response.choices[0].message.content)
스트리밍 예시 (Streaming Example)
from litellm import completion
import os
os.environ['GRADIENT_AI_API_KEY'] = "your-api-key"
response = completion(
model="gradient_ai/model-name",
messages=[
{"role": "user", "content": "Write a story about a robot learning to love"}
],
stream=True,
)
for chunk in response:
print(chunk.choices[0].delta.content or "", end="")