Greenscale

Greenscale은 LLM 기반 앱을 위한 프로덕션 모니터링 플랫폼이에요. GenAI 지출과 책임 있는 사용에 대한 세밀한 핵심 인사이트를 제공하죠. Greenscale은 개인정보(PII) 노출 위험을 최소화하기 위해 메타데이터만 수집해요. LiteLLM 콜백을 통해 Greenscale으로 로그를 보내는 방법을 알려드릴게요.

출처: 문서

본문

tip — 커뮤니티에서 유지 관리하는 통합이에요. 버그를 발견하면 이슈를 만들어 주세요 https://github.com/BerriAI/litellm

Greenscale은 LLM 기반 앱을 위한 프로덕션 모니터링 플랫폼으로 GenAI 지출과 책임 있는 사용에 대한 세밀한 핵심 인사이트를 제공해요. Greenscale은 개인정보(PII) 노출 위험을 최소화하기 위해 메타데이터만 캡처해요.

시작하기 (Getting Started)

Greenscale을 사용해 모든 LLM 프로바이더에서 요청을 로깅해 보세요.

liteLLM은 callbacks를 제공해서 응답 상태에 따라 데이터를 쉽게 로깅할 수 있게 해줘요.

콜백 사용 (Using Callbacks)

먼저 [email protected]로 이메일을 보내 API_KEY를 받아 주세요.

단 한 줄의 코드로 모든 프로바이더의 응답을 Greenscale에 즉시 로깅할 수 있어요:

litellm.success_callback = ["greenscale"]

전체 코드 (Complete code)

from litellm import completion

## set env variables
os.environ['GREENSCALE_API_KEY'] = 'your-greenscale-api-key'
os.environ['GREENSCALE_ENDPOINT'] = 'greenscale-endpoint'
os.environ["OPENAI_API_KEY"]= ""

# set callback
litellm.success_callback = ["greenscale"]

#openai call
response = completion(
  model="gpt-5.6-luna",
  messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}],
  metadata={
    "greenscale_project": "acme-project",
    "greenscale_application": "acme-application"
  }
)

metadata의 추가 정보 (Additional information in metadata)

completion의 metadata 필드와 greenscale_ 접두사를 사용해 Greenscale에 추가 정보를 보낼 수 있어요. 프로젝트·애플리케이션 이름, customer_id, 환경 등 추적하려는 요청 메타데이터를 보내는 데 유용하죠. greenscale_project와 greenscale_application은 필수 필드예요.

#openai call with additional metadata
response = completion(
  model="gpt-5.6-luna",
  messages=[
    {"role": "user", "content": "Hi 👋 - i'm openai"}
  ],
  metadata={
    "greenscale_project": "acme-project",
    "greenscale_application": "acme-application",
    "greenscale_customer_id": "customer-123"
  }
)

지원 및 Greenscale 팀과 소통 (Support & Talk with Greenscale Team)

더 알아보기 (Learn more)

Greenscale — LLM 앱을 위한 프로덕션 모니터링 플랫폼