Ramp
Ramp
AI 사용량과 비용 데이터를 Ramp로 보내 지출을 자동으로 추적할 수 있어요.
출처: 문서
본문
Ramp는 기업이 비용과 법인 카드, 공급업체 지불을 관리하도록 돕는 금융 자동화 플랫폼이에요. Ramp 콜백 통합을 사용하면 LiteLLM AI 사용량 데이터(토큰 수, 모델 비용, 요청 메타데이터 포함)가 자동으로 Ramp로 전송되어 실시간 지출 파악이 가능해요.
사전 준비 (Pre-Requisites)
- Ramp에 로그인하고 검색창에서 "LiteLLM"을 검색하세요. LiteLLM 통합 결과를 클릭하세요.
- 참고: 비즈니스 소유자와 관리자만 통합을 접근·구성할 수 있어요.
- LiteLLM 통합 페이지에서 오른쪽 상단의 Connect 버튼을 클릭하세요.
- Connect LiteLLM 드로어에서 Generate API Key를 클릭해 API 키를 생성하세요.
- 중요: API 키는 다시 표시되지 않으므로 즉시 복사하세요. 분실한 경우 통합 설정에서 기존 키를 폐기하고 새 키를 생성할 수 있어요.
pip install litellm
빠른 시작 (Quick Start)
RAMP_API_KEY를 설정하고 콜백에 "ramp"를 추가하면 LLM 사용량을 Ramp에 기록하기 시작할 수 있어요.
SDK
litellm.callbacks = ["ramp"]
import litellm
import os
# Ramp API Key
os.environ["RAMP_API_KEY"] = "your-ramp-api-key"
# LLM API Keys
os.environ['OPENAI_API_KEY'] = ""
# Set ramp as a callback
litellm.callbacks = ["ramp"]
# OpenAI call
response = litellm.completion(
model="gpt-5.6-luna",
messages=[
{"role": "user", "content": "Hi - I'm testing Ramp integration"}
]
)
LiteLLM Proxy
config.yaml 설정:
model_list:
- model_name: gpt-5.6-luna
litellm_params:
model: openai/gpt-5.6-luna
api_key: os.environ/OPENAI_API_KEY
litellm_settings:
callbacks: ["ramp"]
environment_variables:
RAMP_API_KEY: os.environ/RAMP_API_KEY
프록시 시작:
litellm --config /path/to/config.yaml
테스트:
curl -L -X POST 'http://0.0.0.0:4000/chat/completions' \
-H 'Content-Type: application/json' \
-H "Authorization: Bearer ***" \
-d '{
"model": "gpt-5.6-luna",
"messages": [
{
"role": "user",
"content": "Hey, how are you?"
}
]
}'
기록되는 데이터 (What Data is Logged?)
LiteLLM은 성공적인 LLM API 호출 시 Standard Logging Payload를 Ramp로 전송해요. 여기에는 다음이 포함돼요:
- 요청 세부 정보: 모델, 메시지, 파라미터
- 응답 세부 정보: 완료 텍스트, 토큰 사용량, 지연 시간
- 메타데이터: 사용자 ID, 커스텀 메타데이터, 타임스탬프
- 비용 추적: 토큰 사용량에 기반한 응답 비용
인증 (Authentication)
RAMP_API_KEY 환경 변수를 Ramp API 키로 설정하세요.
| 환경 변수 | 설명 |
|---|---|
| RAMP_API_KEY | Ramp API 키 (필수) |