Qualifire

Qualifire

Qualifire는 운영 중인 AI 애플리케이션을 위한 실시간 에이전틱 평가(Agentic evaluations), 가드레일(guardrails), 관측성(observability)을 제공해요.

출처: 문서

본문

Qualifire는 운영 중인 AI 애플리케이션을 위한 실시간 에이전틱 평가, 가드레일, 관측성을 제공해요.

핵심 기능:

• 평가 (Evaluation) - AI 동작을 체계적으로 평가하여 환각(hallucination), 젤브레이크(jailbreak), 정책 위반 및 기타 취약점 감지
• 가드레일 (Guardrails) - 브랜드 손상, 데이터 유출, 규정 위반 같은 위험을 방지하는 실시간 개입
• 관측성 (Observability) - RAG 파이프라인, 챗봇, AI 에이전트에 대한 완전한 추적(tracing) 및 로깅
• 프롬프트 관리 (Prompt Management) - 버전 관리와 노코드 스튜디오를 갖춘 중앙화된 프롬프트 관리

Qualifire Guardrails가 필요하다면? 실시간 콘텐츠 중재, 프롬프트 인젝션 감지, PII 검사 등을 위한 Qualifire Guardrails 통합을 확인해 보세요.

사전 준비 (Pre-Requisites)

1. Qualifire에서 계정 생성
2. Qualifire 대시보드에서 API 키와 웹훅 URL 가져오기
3. uv add litellm

빠른 시작 (Quick Start)

단 2줄의 코드로 모든 프로바이더의 응답을 Qualifire에 즉시 기록할 수 있어요.

litellm.callbacks = ["qualifire_eval"]

import litellm
import os

# Set Qualifire credentials
os.environ["QUALIFIRE_API_KEY"] = "your-qualifire-api-key"
os.environ["QUALIFIRE_WEBHOOK_URL"] = "https://your-qualifire-webhook-url"

# LLM API Keys
os.environ['OPENAI_API_KEY'] = "your-openai-api-key"

# Set qualifire_eval as a callback & LiteLLM will send the data to Qualifire
litellm.callbacks = ["qualifire_eval"]

# OpenAI call
response = litellm.completion(
  model="gpt-5.6-terra",
  messages=[
    {"role": "user", "content": "Hi 👋 - i'm openai"}
  ]
)

LiteLLM Proxy와 함께 사용 (Using with LiteLLM Proxy)

config.yaml 설정:

model_list:
  - model_name: gpt-5.6-terra
    litellm_params:
      model: openai/gpt-5.6-terra
      api_key: os.environ/OPENAI_API_KEY

litellm_settings:
  callbacks: ["qualifire_eval"]

general_settings:
  master_key: "sk-<your-litellm-master-key>"

environment_variables:
  QUALIFIRE_API_KEY: "your-qualifire-api-key"
  QUALIFIRE_WEBHOOK_URL: "https://app.qualifire.ai/api/v1/webhooks/evaluations"

프록시 시작:

litellm --config config.yaml

테스트:

curl -X POST 'http://0.0.0.0:4000/chat/completions' \
  -H 'Content-Type: application/json' \
  -H "Authorization: Bearer ***" \
  -d '{ "model": "gpt-5.6-terra", "messages": [{"role": "user", "content": "Hi 👋 - i'm openai"}]}'

환경 변수 (Environment Variables)

기록되는 항목 (What Gets Logged?)

성공적인 LLM API 호출마다 LiteLLM Standard Logging Payload가 Qualifire 엔드포인트로 전송돼요. 여기에는 다음이 포함돼요:

• 요청 메시지와 파라미터
• 응답 콘텐츠와 메타데이터
• 토큰 사용 통계
• 지연(latency) 메트릭
• 모델 정보
• 비용 데이터

데이터가 Qualifire에 들어가면 다음을 할 수 있어요:

• 환각, 독성, 정책 위반을 감지하는 평가 실행
• 응답을 실시간으로 차단하거나 수정하는 가드레일 설정
• 전체 AI 파이프라인에 걸친 트레이스 확인
• 시간 경과에 따른 성능 및 품질 메트릭 추적

더 알아보기 (Learn more)

• LiteLLM 공식 문서
• Qualifire
• LiteLLM 콜백 문서