Focus Export

Focus Export (실험적)

LiteLLM이 사용 데이터를 FinOps FOCUS 형식으로 내보내고 아티팩트(예: Parquet 파일)를 Amazon S3나 Google Cloud Storage 같은 대상으로 푸시할 수 있어요. 이를 통해 다운스트림 비용 분석 도구가 LiteLLM에서 직접 표준화된 데이터셋을 수집할 수 있죠.

출처: 문서

본문

실험적 기능 — Focus Format 내보내기는 활발히 개발 중이며 현재 실험적으로 간주돼요. 인터페이스, 스키마 매핑, 구성 옵션은 사용자 피드백에 따라 바뀔 수 있어요. 이 통합을 미리보기로 취급하고, 워크플로를 안정화·개선하는 데 도움이 되도록 이슈나 제안을 알려주세요.

LiteLLM은 현재 이 데이터셋을 내보낼 때 FinOps FOCUS v1.2 사양을 준수해요.

개요 (Overview)

속성 세부
대상(Destination) FOCUS 형식 LiteLLM 사용 데이터를 관리 저장소(S3, GCS)로 내보내기
콜백 이름 focus
지원 작업 자동 예약 내보내기
데이터 형식 FOCUS 정규화 데이터셋(Parquet 또는 CSV)

환경 변수 (Environment Variables)

공통 설정 (Common settings)

변수 필수 설명
FOCUS_PROVIDER 아니오 대상 프로바이더. s3, gcs, vantage 중 하나. 기본값 s3.
FOCUS_FORMAT 아니오 출력 형식. parquet, csv 중 하나. 기본값 parquet.
FOCUS_FREQUENCY 아니오 내보내기 주기. 프로덕션에는 hourly 또는 daily 권장. interval은 짧은 테스트 루프용. 기본값 hourly.
FOCUS_CRON_OFFSET 아니오 hourly/daily cron 트리거에 사용되는 분 오프셋. 기본값 5.
FOCUS_INTERVAL_SECONDS 아니오 FOCUS_FREQUENCY="interval"일 때의 간격(초).
FOCUS_PREFIX 아니오 객체 키 접두사/폴더. 기본값 focus_exports.

S3 대상 (S3 destination)

변수 필수 설명
FOCUS_S3_BUCKET_NAME 예 내보낸 파일의 대상 버킷.
FOCUS_S3_REGION_NAME 아니오 버킷의 AWS 리전.
FOCUS_S3_ENDPOINT_URL 아니오 사용자 지정 엔드포인트(S3 호환 저장소에 유용).
FOCUS_S3_ACCESS_KEY 예 업로드용 AWS 액세스 키.
FOCUS_S3_SECRET_KEY 예 업로드용 AWS 시크릿 키.
FOCUS_S3_SESSION_TOKEN 아니오 임시 자격 증명 사용 시 AWS 세션 토큰.

GCS 대상 (GCS destination)

변수 필수 설명
FOCUS_GCS_BUCKET_NAME 예 내보낸 파일의 대상 GCS 버킷.
FOCUS_GCS_PATH_SERVICE_ACCOUNT 아니오 서비스 계정 JSON 키 파일 경로. 미설정 시 ADC(Application Default Credentials)로 폴백.

Config로 설정 (Setup via Config)

환경 변수 구성 (Configure environment variables)

S3:

export FOCUS_PROVIDER="s3"
export FOCUS_PREFIX="focus_exports"
export FOCUS_S3_BUCKET_NAME="my-litellm-focus-bucket"
export FOCUS_S3_REGION_NAME="us-east-1"
export FOCUS_S3_ACCESS_KEY="AKIA..."
export FOCUS_S3_SECRET_KEY="..."

GCS:

export FOCUS_PROVIDER="gcs"
export FOCUS_PREFIX="focus_exports"
export FOCUS_GCS_BUCKET_NAME="my-litellm-focus-bucket"

# Optional: path to service account JSON. Omit to use Application Default Credentials.
export FOCUS_GCS_PATH_SERVICE_ACCOUNT="/path/to/service-account.json"

서비스 계정(또는 ADC 주체)은 대상 버킷에 storage.objects.create 권한(roles/storage.objectCreator 이상)이 필요해요.

LiteLLM config 업데이트

model_list:
  - model_name: gpt-5.6-terra
    litellm_params:
      model: openai/gpt-5.6-terra
      api_key: «redacted:sk-…»

litellm_settings:
  callbacks: ["focus"]

프록시 시작

litellm --config /path/to/config.yaml

부팅 중 LiteLLM은 Focus 로거와 구성된 빈도에 따라 실행되는 백그라운드 작업을 등록해요.

계획된 개선 사항 (Planned Enhancements)

  • 현재 구성 기반 설정과 함께 "UI로 설정" 흐름 추가.
  • 대상 옵션에 Azure Blob 추가.

더 알아보기 (Learn more)