모델 비용

모델 비용 (Model Costs)

LLM 트레이싱의 사용량 추적과 비용 추정을 위해 LLM 모델 비용을 구성할 수 있어요.

Model Costs 기능은 LLM 사용량의 비용 추적을 구성하게 해 줘요. 이는 여러 모델에 걸친 지출을 모니터링하고 트레이스의 비용 내역을 이해하는 데 유용해요.

Configure Model Costs

출처: 문서

본문

비용 우선순위 (Cost Priority)

모델 비용은 다음 우선순위 순서로 적용돼요:

1. 명시적 트레이스 비용 속성 (Explicit trace cost attributes) — 트레이스를 기록할 때 명시적으로 설정한 비용이 가장 높은 우선순위를 가져요
2. 커스텀 모델 비용 (Custom Model Costs) — 프로젝트 설정에서 구성한 비용이 사전 구성된 기본값을 덮어써요
3. 사전 구성된 모델 비용 (Pre-configured Model Costs) — 다른 비용이 설정되지 않았을 때 흔한 모델에 대한 폴백 가격이에요

커스텀 모델 비용 (Custom Model Costs)

커스텀 모델 비용은 특정 모델이나 모델 패턴의 가격을 정의하게 해 줘요. 이 비용은 사전 구성된 기본값을 덮어쓰지만, 트레이싱 API나 DeepEval로 명시적으로 설정된 비용에는 다시 덮어써져요.

커스텀 모델 비용을 추가하려면:

1. 프로젝트 설정 (Project Settings) → 모델 비용 (Model Costs) 으로 이동해요
2. Add Model Cost 를 클릭해요
3. Match Pattern 을 입력해요 (예: gpt-4.1, claude-*, 또는 my-custom-model)
4. 선택적으로 Provider 를 선택해 비용 규칙을 그 특정 공급자의 스팬으로 제한할 수 있어요
5. 토큰 백만 개당 Input Cost 를 설정해요
6. 토큰 백만 개당 Output Cost 를 설정해요
7. Save 를 클릭해요

입력 비용과 출력 비용을 별개의 항목으로 취급할 수 있고, 둘 중 하나만 필요해요. 예를 들어 출력 비용을 제공하지 않으면 사전 구성된 모델 비용으로 기본 설정되므로, 출력 비용을 계산하고 싶지 않다면 0으로 설정해야 해요.

와일드카드 패턴(예: gpt-4*)을 사용하면 여러 모델 변형을 단일 비용 구성으로 매칭할 수 있어요.

사전 구성된 모델 비용 (Pre-configured Model Costs)

Confident AI는 주요 공급자의 인기 모델에 대한 사전 구성된 비용을 포함해요. 이는 트레이싱 API나 커스텀 모델 비용으로 비용이 설정되지 않았을 때 폴백 가격으로 쓰여요.

사전 구성된 비용은 다음에서 사용할 수 있어요:

• OpenAI — GPT-4, GPT-4o, GPT-3.5 Turbo 및 기타 OpenAI 모델
• Anthropic — Claude 3.5, Claude 3 및 기타 Anthropic 모델
• Gemini — Gemini Pro, Gemini Ultra 및 기타 Google 모델

사전 구성된 비용은 현재 공급자 가격을 반영하도록 주기적으로 업데이트돼요. 가장 정확한 비용 추적을 위해서는 커스텀 비용을 설정하거나 트레이싱 API로 직접 비용을 전달하는 걸 고려해요.

사전 구성된 비용을 모델 이름으로 검색해서 트레이스에 적용되는 가격을 확인할 수 있어요.

조직에서 상속 (Inherit From Organization)

이 옵션을 켜면 조직 설정에서 모델 비용 구성을 상속해요. 활성화하면 조직 수준 모델 비용이 이 프로젝트의 사전 구성된 기본값을 덮어써요.

여러 프로젝트에서 일관된 가격을 유지하고 싶고, 각각을 개별적으로 구성하고 싶지 않을 때 유용해요.

사전 구성된 목록에 없는 파인튜닝(fine-tuned) 또는 셀프 호스팅 모델을 쓰고 있나요? LLM 스팬에서 update_span() / updateSpan()으로 토큰당 비용을 직접 설정할 수 있어요 — 이 값이 가장 높은 우선순위를 가져요. 커스텀 모델 사용량을 참고해요.

더 알아보기

• 토큰 사용량과 비용