가드레일 공급자: Onyx Security

가드레일 공급자: Onyx Security

LiteLLM은 Onyx Security와의 연동을 위한 가드레일을 지원해요. AI 의존 애플리케이션의 보안 관찰가능성·보호를 제공하는 Onyx의 기능을 프록시에 적용해요.

출처: 문서

본문

개요 (Overview)

Onyx Security 가드레일은 프롬프트 인젝션, 유해 콘텐츠, 민감 데이터 유출 등 AI 트래픽 위험을 감지하고 완화하기 위해 Onyx 플랫폼과 통합해요.

구성 (Configuration)

guardrails 섹션 아래에 Onyx Security 가드레일을 정의하세요:

guardrails:
  - guardrail_name: "onyx-guard"
    litellm_params:
      guardrail: onyx_security
      mode: [pre_call, post_call]
      api_key: os.environ/ONYX_API_KEY
      api_base: os.environ/ONYX_API_BASE
      default_on: true
      ...

참고 사항 (Notes)

인증, 파라미터, 정책 설정의 자세한 내용은 원문 문서를 참고하세요.