OpenAITokenCounter

OpenAITokenCounter

OpenAITokenCounter는 OpenAI의 POST /v1/responses/input_tokens 엔드포인트를 사용해 특정 모델에 대한 입력 토큰 수를 세는 컴포넌트예요. Responses API에서 쓰는 것과 같은 형식으로 텍스트, 이미지, 파일, 툴 호출, 툴 결과, 툴 스키마를 지원해요.

출처: 문서

본문

원격 API를 호출하기 때문에 OpenAI API 키가 필요하고 네트워크 지연도 추가돼요. 모델별 정확한 토큰 수가 필요하거나, 비텍스트 입력과 툴 스키마를 정확히 측정해야 할 때 쓰세요. 로컬 추정이 필요하면 ApproximateTokenCounter나 TiktokenCounter를 쓰세요.

from haystack.dataclasses import ChatMessage
from haystack.token_counters import OpenAITokenCounter


counter = OpenAITokenCounter("gpt-5-mini")
messages = [ChatMessage.from_user("What's Natural Language Processing?")]

token_count = counter.count(messages)

기본적으로 이 카운터는 OPENAI_API_KEY에서 API 키를 읽어요. Haystack Secret을 명시적으로 넘기고, API 기본 URL, 조직, 타임아웃, 재시도 횟수, HTTP 클라이언트 옵션도 설정할 수 있어요.

모든 생성자 파라미터와 메서드는 Token Counters API 참조에서 확인하세요.