SentencePiece

SentencePiece

SentencePiece는 구글이 만든 무감독(unsupervised) 텍스트 토크나이저·디토크나이저예요. 신경망 기반 텍스트 생성 시스템(예: LLM)처럼 어휘 크기가 학습 전에 고정돼 있는 환경을 위해 설계됐죠. BPE와 유니그램 언어 모델 같은 서브워드 유닛을 구현하면서, 원시 문장에서 바로 학습할 수 있다는 게 특징이에요.

이 카테고리는 google/sentencepiece 공식 문서·README를 반영한 한국어 가이드 문서 모음이에요. 각 문서는 ## 더 알아보기의 공식 출처 링크를 함께 담고 있어요.

출처: 공식 문서 (신규 시드 허브)