SentencePiece 개요
SentencePiece 개요
SentencePiece는 빠르고 가볍고 무감독으로 동작하는 텍스트 토크나이저·디토크나이저예요. 특히 어휘 크기가 학습 전에 고정되는 LLM 같은 시스템을 위해 만들어졌어요.
SentencePiece는 신경망 기반 텍스트 생성 시스템(예: 대규모 언어 모델)을 위해 설계된, 빠르고 가볍고 무감독인 텍스트 토크나이저이자 디토크나이저예요. 이 시스템들은 보통 학습 전에 어휘 크기가 고정돼 있죠.
Byte-Pair-Encoding(BPE)과 unigram language model 같은 서브워드 유닛을 구현했고, 원시 문장에서 바로 학습할 수 있어요.
가장 큰 특징은 입력 텍스트를 유니코드 문자 그대로의 원시 시퀀스로 다룬다는 점이에요. 덕분에 언어별 전·후처리가 필요 없는 완전한 end-to-end, 언어 독립 파이프라인이 돼요. Moses, MeCab, KyTea 같은 언어별 사전 토크나이저가 필요 없어서, 특히 중국어·일본어·한국어처럼 단어 경계가 명시적이지 않은 언어에서 효과가 커요.
참고로 SentencePiece는 구글의 공식 제품은 아니에요(비공식 서드파티 라이브러리 표시). 그래도 거의 모든 최신 LLM의 토크나이저 기반으로 쓰이는 사실상 표준 도구예요.