개념 딥다이브: 토크나이제이션

개념 딥다이브: 토크나이제이션 (Tokenization)

LLM에서 토크나이제이션이 얼마나 중요한 개념인지, 그리고 생각보다 얼마나 복잡할 수 있는지 살펴보는 페이지예요.

출처: 문서

Tokenization은 LLM을 둘러싼 핵심 개념이에요. 그리고 생각보다 더 복잡할 수 있답니다!

우리 토크나이제이션 구현에 대해서는 mistral-common을 참고해 주세요.

이 딥다이브에서는 우리 토크나이저의 3가지 버전을 자세히 살펴볼 거예요:

V1: 우리가 가장 처음 만든 모델들 뒤에 있는 토크나이저예요.
V2: 컨트롤 토큰(control token)과 함수 호출(function calling)을 도입한 버전이에요!
V3: 더 나은 함수 호출 구현이에요.
- V3-Tekken: tiktoken에 기반한 다른 버전이에요. 다른 버전들이 sentencepiece에 기반한 것과 반대로요.

Section	Description
Basics	토크나이제이션의 기초.
Boundaries & Token Healing	토크나이제이션의 주요 문제와 토큰 힐링.
Control Tokens	컨트롤 토큰과 그 장점 소개.
Templates	채팅 템플릿과 함께 우리 토크나이저를 요약한 목록.
Tokenizer	sentencepiece로 나만의 토크나이저 만들기.
Tool Calling	우리 tool calling의 토크나이제이션이 어떻게 동작하는지 배우기.
Chat Templates	채팅 템플릿에 대한 레거시 문서.