COUNT_TOKENS

COUNT_TOKENS (SNOWFLAKE.CORTEX)

SNOWFLAKE.CORTEX.COUNT_TOKENS는 인자에 지정된 대규모 언어 모델(LLM) 또는 작업별 함수에 대한 프롬프트의 토큰 수를 반환하는 함수예요. 파인튜닝된 모델은 지원하지 않아요.

출처: Snowflake SQL Reference

본문

공지: 이 페이지는 하위 호환성을 위해 제공돼요. 새로운 사용 사례에서는 앞으로의 표준 표면인 AI_COUNT_TOKENS부터 시작하세요. 이 레거시 함수는 2026년 말까지 사용 중단(deprecate)될 예정이에요.

카테고리: String & binary 함수 (AI Functions)

구문 (Syntax)

SNOWFLAKE.CORTEX.COUNT_TOKENS( <model_name> , <input_text> )

인자 (Arguments)

필수:

<model_name> — 토큰 수 계산의 기준으로 삼을 모델의 이름이에요. 지원되는 모델을 참고해요.

<input_text> — 토큰 수를 셀 입력 텍스트예요.

반환값 (Returns)

지정한 모델 또는 함수를 기준으로 한 입력 텍스트의 토큰 수인 INT, INTEGER, BIGINT, SMALLINT, TINYINT, BYTEINT 타입을 반환해요.

사용 시 유의사항 (Usage notes)

  • 함수 이름이 지정되면 토큰 수는 그 함수가 사용하는 모델을 기준으로 해요.
  • 함수 이름에는 소문자를 사용해요.

참고: COUNT_TOKENS는 Cortex Cortex AI 함수를 사용할 때 입력 텍스트 시작 부분에 자동으로 추가되는 관리형 시스템 프롬프트를 계산에 포함하지 않아요. 따라서 COUNT_TOKENS가 반환하는 값은 이 함수들이 실제로 처리하는 토큰 수보다 낮아요.

Snowflake AI and ML을 참고해요.

더 알아보기