Vantage

Vantage

LiteLLM은 프록시 지출 데이터를 FOCUS 1.2 형식의 비용 보고서로 Vantage에 내보낼 수 있어요. 이렇게 하면 Vantage 대시보드에서 클라우드 인프라 비용과 함께 LLM 지출을 시각화할 수 있어요.

출처: 문서

본문

개요 (Overview)

사전 준비 (Prerequisites)

Vantage 콘솔에서 두 가지 자격 증명이 필요해요:

• API 키 — Settings → API Access Tokens → Write 스코프로 토큰 생성. 토큰은 vntg_tkn_...처럼 생겼어요.
• Custom Provider 토큰 — Settings → Integrations → Custom Provider 통합 생성 → Provider ID 복사 (accss_crdntl_...처럼 생김).

API를 통한 설정 (Setup via API)

권장 설정은 프록시 admin 엔드포인트를 사용해요. 구성 파일 변경이 필요 없어요.

1. 자격 증명 초기화 (Initialize credentials)

curl -X POST http://localhost:4000/vantage/init \
  -H "Authorization: Bearer $LITEL..._KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "api_key": "vntg_tkn_YOUR_VANTAGE_API_KEY",
    "integration_token": "accss_crdntl_YOUR_PROVIDER_TOKEN"
  }'

자격 증명은 암호화되어 프록시 데이터베이스에 저장돼요.

2. 데이터 미리보기 (dry run)

curl -X POST http://localhost:4000/vantage/dry-run \
  -H "Authorization: Bearer $LITEL..._KEY" \
  -H "Content-Type: application/json" \
  -d '{"limit": 10}'

이것은 Vantage에 아무것도 보내지 않고 FOCUS 변환된 데이터를 반환해요. 파이프라인이 작동하는지 확인하고 데이터 매핑을 검사하는 데 사용해요.

3. Vantage로 내보내기 (Export to Vantage)

curl -X POST http://localhost:4000/vantage/export \
  -H "Authorization: Bearer $LITEL..._KEY" \
  -H "Content-Type: application/json" \
  -d '{}'

선택적 파라미터:

• limit — 내보낼 최대 레코드 수
• start_time_utc / end_time_utc: 시간 범위로 필터링 (함께 제공해야 함)

4. Vantage에서 확인 (Verify in Vantage)

Settings → Integrations → Custom Provider → Import Costs 탭으로 이동해 업로드된 CSV를 확인하세요. 상태가 "Importing and Processing"에서 "Stable"로 바뀌면 비용이 Cost Reporting → All Resources에 나타나요.

환경 변수를 통한 설정 (Setup via Environment Variables)

자동 예약 내보내기를 위해 환경 변수와 프록시 구성을 통해 설정해요:

환경 변수:

프록시 구성:

model_list:
  - model_name: gpt-5.6-terra
    litellm_params:
      model: openai/gpt-5.6-terra
      api_key: sk-you..."
litellm_settings:
  callbacks: ["vantage"]

export VANTAGE_API_KEY="vntg_tkn_..."
export VANTAGE_INTEGRATION_TOKEN="accss_crdntl_..."
litellm --config /path/to/config.yaml

프록시는 구성된 일정으로 데이터를 내보내는 백그라운드 작업을 등록해요.

API 엔드포인트 (API Endpoints)

모든 엔드포인트는 admin 인증이 필요해요.

FOCUS 필드 매핑 (FOCUS Field Mapping)

LiteLLM 지출 데이터는 FOCUS 1.2 스키마로 변환돼요:

추가 메타데이터(user_id, user_email, model, model_group 등)도 Tags 컬럼에 JSON으로 포함돼요.

업로드 제한 (Upload Limits)

Vantage는 업로드당 제한을 적용해요. LiteLLM은 이를 자동으로 처리해요:

• 업로드당 10,000행; 대용량 내보내기는 배치로 분할
• 업로드당 2 MB; 초과 크기 배치는 크기별로 추가 분할
• 지원되지 않는 컬럼은 업로드 전에 제거

관련 링크 (Related Links)

• Vantage
• Vantage Custom Providers
• FOCUS Specification
• Focus Export (S3/Parquet)

더 알아보기 (Learn more)

• LiteLLM 공식 문서
• Vantage
• FOCUS 사양