system.tokenizers 시스템 테이블

system.tokenizers 시스템 테이블

system.tokenizers 는 사용 가능한 모든 토크나이저를 보여주는 테이블이에요. 이들은 tokens, hasAllTokens, hasAnyTokens 함수와 text index 에서 사용할 수 있어요.

출처: 문서

본문

ClickHouse Cloud에서의 조회 — 이 시스템 테이블의 데이터는 ClickHouse Cloud에서 각 노드에 로컬로 저장돼요. 따라서 모든 데이터의 완전한 뷰를 얻으려면 clusterAllReplicas 함수가 필요해요. 자세한 내용은 여기 를 참고하세요.

Description

사용 가능한 모든 토크나이저를 보여줘요. 이들은 tokens, hasAllTokens, hasAnyTokens 함수와 text index 에서 사용할 수 있어요.

Columns

  • name (String) — 토크나이저의 이름이에요.

Example

SELECT * FROM system.tokenizers;

┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
│ asciiCJK        │
│ icu             │
│ japanese        │
└─────────────────┘

더 알아보기 (Learn more)