tiktoken — OpenAI 토크나이저
tiktoken
tiktoken은 OpenAI 모델에 쓰이는 빠른 BPE 토크나이저예요. 텍스트를 토큰(숫자)으로, 또 그 반대로 바꿔 주는 라이브러리인데, 특히 모델에 넣기 전에 토큰 수를 세어야 하는 프롬프트·파인튜닝 작업에서 정확도과 속도 둘 다 챙기고 싶을 때 자주 찾게 돼요.
이 카테고리의 문서
- 시작하기: tiktoken 설치와
get_encoding,encoding_for_model사용법 - BPE 원리: 토크나이저가 텍스트를 어떻게 토큰으로 나누는지와 확장 예시
- 인코딩과 확장: 공개 인코딩 목록과 커스텀 인코딩 등록