TokenCost 소개 — LLM 토큰 비용·카운트 추정
TokenCost 소개
LLM API를 호출할 때마다 비용이 쌓이지만, 막상 "지금 이 호출이 몇 달러야?"를 알기 어려워요. TokenCost는 400개 이상 LLM API의 USD 비용을 계산하고 프롬프트·완성의 토큰 수를 세어주는 파이썬 라이브러리예요. 클라이언트 사이드에서 동작해서, LLM 앱과 AI 에이전트의 비용을 손쉽게 추정할 수 있습니다.
주요 기능
- LLM 가격 추적 — 주요 LLM 제공자의 가격 변경을 추적
- 토큰 카운팅 — OpenAI 요청을 보내기 전에 프롬프트 토큰을 정확히 계산
- 쉬운 통합 — 하나의 함수로 프롬프트·완성 비용 계산
사용 예시
from tokencost import calculate_prompt_cost, calculate_completion_cost
model = "gpt-3.5-turbo"
prompt = [{"role": "user", "content": "Hello world"}]
completion = "How may I assist you today?"
prompt_cost = calculate_prompt_cost(prompt, model)
completion_cost = calculate_completion_cost(completion, model)
print(f"{prompt_cost} + {completion_cost} = {prompt_cost + completion_cost}")
# 0.0000135 + 0.000014 = 0.0000275
토큰 계산 원리
문자열과 ChatML 메시지는 OpenAI 공식 토크나이저인 Tiktoken으로 토큰화돼요. Anthropic 3 이상 모델은 공식 베타 토큰 카운팅 API를 사용하고, 이전 Claude 모델은 Tiktoken의 cl100k_base 인코딩으로 근사해요.