Abliteration

Abliteration

Abliteration 프로바이더를 LiteLLM에서 사용하는 방법을 소개할게요.

출처: 문서

본문

개요 (Overview)

필수 변수 (Required Variables)

환경 변수

os.environ["ABLITERATION_API_KEY"] = "" # your Abliteration API key

LiteLLM 프록시 서버로 사용하기

1. 프록시 config에 모델을 추가해요.

config.yaml

model_list:
  - model_name: abliteration-chat
    litellm_params:
      model: abliteration/abliterated-model
      api_key: os.environ/ABLITERATION_API_KEY

2. 프록시를 시작해요.

litellm --config /path/to/config.yaml

직접 API 사용 (Bearer Token)

환경 변수를 OpenAI 호환 엔드포인트 https://api.abliteration.ai/v1/chat/completions에 대한 Bearer 토큰으로 사용해요.

cURL

업스트림에 대한 Bearer 토큰 인증 방식으로 호출할 수 있어요.

더 알아보기 (Learn more)

• Abliteration
• AI21