FriendliAI
FriendliAI
FriendliAI의 모든 모델을 지원해요. completion 요청 시 friendliai/ 접두사로 설정하기만 하면 돼요.
출처: 문서
본문
개요 (Overview)
| 속성 | 설명 |
|---|---|
| 설명 | 프로덕션 준비된 복합 AI 시스템을 구축하는 가장 빠르고 효율적인 추론 엔진 |
| LiteLLM 라우트 | friendliai/ |
| 공급자 문서 | FriendliAI |
| 지원 OpenAI 엔드포인트 | /chat/completions, /completions |
API 키
# env variable
os.environ['FRIENDLI_TOKEN']
샘플 사용법 (Sample Usage)
from litellm import completion
import os
os.environ['FRIENDLI_TOKEN'] = ""
response = completion(
model="friendliai/meta-llama-3.1-8b-instruct",
messages=[
{"role": "user", "content": "hello from litellm"}
],
)
print(response)
샘플 사용법 - 스트리밍 (Streaming)
from litellm import completion
import os
os.environ['FRIENDLI_TOKEN'] = ""
response = completion(
model="friendliai/meta-llama-3.1-8b-instruct",
messages=[
{"role": "user", "content": "hello from litellm"}
],
stream=True
)
for chunk in response:
print(chunk)