🤗 Tokenizers 퀵투어

🤗 Tokenizers 퀵투어 (Quicktour)

🤗 Tokenizers 라이브러리의 기능들을 빠르게 살펴볼게요. 이 라이브러리는 오늘날 가장 많이 쓰이는 토크나이저의 구현을 제공하는데, 사용하기 쉽고 매우 빠릅니다.

처음부터 토크나이저 빌드

🤗 Tokenizers 라이브러리가 얼마나 빠른지 보여드리기 위해, wikitext-103 (텍스트 516M) 위에 새 토크나이저를 몇 초 만에 훈련시켜 볼게요. 먼저 이 데이터셋을 다운로드하고 압축을 풀어야 해요:

wget https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-103-raw-v1.zip
unzip wikitext-103-raw-v1.zip

토크나이저 훈련

이 투어에서는 Byte-Pair Encoding (BPE) 토크나이저를 빌드하고 훈련시킬 거예요. 토크나이저의 다양한 유형에 대해 더 알고 싶다면 🤗 Transformers 문서의 이 가이드를 확인하세요. 여기서 토크나이저를 훈련한다는 것은:

• 훈련 말뭉치에 있는 모든 문자를 토큰으로 시작한다.
• 가장 흔한 토큰 쌍을 찾아 하나의 토큰으로 병합한다.
• 어휘(즉 토큰 수)가 원하는 크기에 도달할 때까지 반복한다.

라이브러리의 주 API는 class Tokenizer예요. 여기 BPE 모델로 하나를 인스턴스화하는 방법입니다.

from tokenizers import Tokenizer
from tokenizers.models import BPE
tokenizer = Tokenizer(BPE(unk_token="[UNK]"))

wikitext 파일들에서 토크나이저를 훈련하려면 trainer를 인스턴스화해야 하는데, 이 경우 BpeTrainer예요.

from tokenizers.trainers import BpeTrainer
trainer = BpeTrainer(special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"])

vocab_size나 min_frequency 같은 훈련 인자(여기서는 기본값 30,000과 0으로 남겨둠)를 설정할 수 있는데, 가장 중요한 것은 나중에 사용할 special_tokens를 주는 거예요 (훈련 중에는 전혀 사용되지 않지만 어휘에 삽입되도록).

특수 토큰 리스트를 쓰는 순서는 중요해요: 여기서는 "[UNK]"가 ID 0, "[CLS]"가 ID 1을 얻게 되고 이렇게 이어집니다.

from tokenizers.pre_tokenizers import Whitespace
tokenizer.pre_tokenizer = Whitespace()

이제 사용하려는 아무 파일 리스트와 함께 Tokenizer.train 메서드를 호출하기만 하면 돼요.

files = [f"data/wikitext-103-raw/wiki.{split}.raw" for split in ["test", "train", "valid"]]
tokenizer.train(files, trainer)

전체 wikitext 데이터셋에서 토크나이저를 훈련하는 데 몇 초밖에 걸리지 않아요! 설정과 어휘를 모두 담은 단일 파일로 토크나이저를 저장하려면 Tokenizer.save 메서드를 쓰면 돼요.

tokenizer.save("data/tokenizer-wiki.json")

그 파일에서 토크나이저를 다시 불러오려면 Tokenizer.from_file classmethod를 사용해요.

tokenizer = Tokenizer.from_file("data/tokenizer-wiki.json")

토크나이저 사용

토크나이저를 훈련했으니 이제 원하는 어떤 텍스트에든 Tokenizer.encode 메서드로 사용할 수 있어요.

output = tokenizer.encode("Hello, y'all! How are you 😁 ?")

이것은 텍스트에 토크나이저의 전체 파이프라인을 적용해서 Encoding 객체를 반환해요. 이 파이프라인에 대해 더 자세히 배우고, 그 일부를 적용(또는 커스터마이즈)하는 방법은 이 페이지를 확인하세요.

후처리 (Post-processing)

from tokenizers.processors import TemplateProcessing
tokenizer.post_processor = TemplateProcessing(
    single="[CLS] $A [SEP]",
    pair="[CLS] $A [SEP] $B:1 [SEP]:1",
    special_tokens=[
        ("[CLS]", tokenizer.token_to_id("[CLS]")),
        ("[SEP]", tokenizer.token_to_id("[SEP]")),
    ],
)

그다음 문장 쌍용 템플릿을 지정하는데, 이는 "[CLS] $A [SEP] $B [SEP]" 형태여야 해요. 여기서 $A는 첫 번째 문장, $B는 두 번째 문장을 나타내요. 템플릿에 추가된 :1은 입력의 각 부분에 원하는 type IDs를 나타내요: 모든 것의 기본값은 0이라 (그래서 $A:0이 없음) 여기서는 두 번째 문장의 토큰과 마지막 "[SEP]" 토큰에 대해 1로 설정합니다.

output = await tokenizer.encode("Hello, y'all! How are you 😁 ?")
console.log(output.getTokens())
// ["[CLS]", "Hello", ",", "y", "'", "all", "!", "How", "are", "you", "[UNK]", "?", "[SEP]"]

문장 쌍에서 결과를 확인하려면 두 문장을 Tokenizer.encode에 넘기면 돼요.

배치로 여러 문장 인코딩

🤗 Tokenizers 라이브러리의 최대 속도를 얻으려면 Tokenizer.encode_batch 메서드로 텍스트를 배치 단위로 처리하는 것이 최고예요.

output = tokenizer.encode_batch(["Hello, y'all!", "How are you 😁 ?"])

문장 쌍 배치를 처리하려면 Tokenizer.encode_batch 메서드에 두 리스트를 넘기면 돼요: 문장 A 리스트와 문장 B 리스트.

output = tokenizer.encode_batch(
    [["Hello, y'all!", "How are you 😁 ?"], ["Hello to you too!", "I'm fine, thank you!"]]
)

여러 문장을 인코딩할 때는 Tokenizer.enable_padding으로 출력을 가장 긴 문장에 맞춰 자동으로 패딩할 수 있어요. pad_token과 그 ID를 지정하면 됩니다 (패딩 토큰의 ID는 이전처럼 Tokenizer.token_to_id로 다시 확인할 수 있어요).

tokenizer.enable_padding(pad_id=3, pad_token="[PAD]")

패딩의 direction(기본은 오른쪽)을 설정하거나, 모든 샘플을 특정 개수로 패딩하고 싶다면 length를 지정할 수 있어요 (여기서는 설정하지 않아 가장 긴 텍스트의 크기에 맞춥니다).

output = tokenizer.encode_batch(["Hello, y'all!", "How are you 😁 ?"])
print(output[1].tokens)
# ["[CLS]", "How", "are", "you", "[UNK]", "?", "[SEP]", "[PAD]"]

이 경우 토크나이저가 생성한 attention mask가 패딩을 고려합니다.

사전훈련 (Pretrained)

사전훈련 토크나이저 사용

저장소에 tokenizer.json 파일만 있으면 Hugging Face Hub의 어떤 토크나이저든 불러올 수 있어요.

from tokenizers import Tokenizer

tokenizer = Tokenizer.from_pretrained("bert-base-uncased")

레거시 어휘 파일에서 사전훈련 토크나이저 임포트

어휘 파일만 있으면 사전훈련 토크나이저를 바로 임포트할 수도 있어요. 예를 들어, 고전적인 사전훈련 BERT 토크나이저를 이렇게 임포트합니다.

from tokenizers import BertWordPieceTokenizer

tokenizer = BertWordPieceTokenizer("bert-base-uncased-vocab.txt", lowercase=True)

bert-base-uncased-vocab.txt 파일을 다음으로 다운로드했다면 말이죠.

wget https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt

출처: 공식문서