🤗 Datasets 빠른 시작

🤗 Datasets 빠른 시작 (Quickstart)

이 퀵스타트는 코드를 바로 만져보고 싶은 개발자를 위한 가이드예요. 모델 훈련 워크플로에 🤗 Datasets을 어떻게 통합하는지 예시로 확인해 볼 수 있어요. 처음 배우는 분이라면 튜토리얼부터 시작하는 걸 추천해요. 더 차근차근 소개해 주거든요.

가장 빠르고 쉬운 시작 방법은 Hugging Face Hub에 있는 기존 데이터셋을 불러오는 거예요. 수천 개의 데이터셋이 다양한 태스크에 걸쳐 준비되어 있으니까, 작업하고 싶은 유형을 고르면 됩니다.

• Audio: 오디오 데이터셋을 리샘플링해서 모델이 은행 업무 유형을 분류하도록 준비
• Vision: 이미지 데이터셋에 데이터 증강(augmentation)을 적용해서 병 진단 모델 준비
• NLP: 데이터셋을 토큰화해서 두 문장의 의미가 같은지 판별하는 모델 준비

먼저 🤗 Datasets을 설치합니다.

pip install datasets

• 오디오 데이터셋을 다루려면 Audio 기능을 설치해요:

  pip install datasets[audio]
  

• 이미지 데이터셋을 다루려면 Image 기능을 설치하면 돼요:

  pip install datasets[vision]
  

Audio

오디오 데이터셋은 텍스트 데이터셋과 똑같은 방식으로 불러와요. 다만 전처리 방식은 조금 달라요. 토크나이저 대신 feature extractor가 필요하거든요.

오디오 입력은 모델에 맞게 샘플링 레이트(sampling rate)를 리샘플링해야 할 수도 있어요. 이 퀵스타트에서는 MInDS-14 데이터셋을 준비해서, 고객이 겪는 은행 업무 문제를 분류하는 모델을 훈련해 볼게요.

1. load_dataset() 함수에 데이터셋 이름, 데이터셋 설정(configuration, 모든 데이터셋에 있는 건 아님), 데이터셋 분할(split)을 넘겨 MInDS-14를 불러옵니다.

>>> from datasets import load_dataset, Audio

>>> dataset = load_dataset("PolyAI/minds14", "en-US", split="train")

2. 다음으로 🤗 Transformers 라이브러리에서 사전훈련된 Wav2Vec2 모델과 그에 맞는 feature extractor를 불러와요. 모델을 불러온 뒤 일부 가중치가 초기화되지 않았다는 경고가 나오는 건 정상이에요.

>>> from transformers import AutoModelForAudioClassification, AutoFeatureExtractor

>>> model = AutoModelForAudioClassification.from_pretrained("facebook/wav2vec2-base")
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")

3. 모델의 샘플링 레이트에 맞추려면 cast_column() 함수와 Audio feature로 audio 컬럼을 업샘플링해야 해요.

>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
>>> dataset[0]["audio"]

4. feature extractor로 오디오 array를 전처리하는 함수를 만들고, 시퀀스를 잘라내고(truncate) 패딩해서 깔끔한 직사각형 텐서로 만들어요. 가장 중요한 점은 feature extractor에 오디오 array를 넘기는 거예요. array — 실제 음성 신호 — 가 모델 입력이 되거든요.

전처리 함수를 만들었다면 map() 함수로 함수를 데이터셋의 예시 배치(batch)에 적용해서 처리를 빠르게 할 수 있어요.

>>> def preprocess_function(examples):
...     audio_arrays = [x.get_all_samples().data for x in examples["audio"]]
...     inputs = feature_extractor(
...         audio_arrays,
...         sampling_rate=16000,
...         padding=True,
...         max_length=100000,
...         truncation=True,
...     )
...     return inputs

>>> dataset = dataset.map(preprocess_function, batched=True)

5. rename_column() 함수로 intent_class 컬럼을 labels로 이름을 바꿔요. labels는 모델이 기대하는 입력 이름이기 때문이에요.

set_format() 함수로 데이터셋 포맷을 torch로 설정하고, 포맷할 컬럼을 지정해요. 이 함수는 포맷을 즉시(on-the-fly) 적용해요.

PyTorch 텐서로 바꾼 뒤에는 데이터셋을 torch.utils.data.DataLoader로 감쌉니다.

>>> from torch.utils.data import DataLoader

>>> dataset.set_format(type="torch", columns=["input_values", "labels"])
>>> dataloader = DataLoader(dataset, batch_size=4)

TensorFlow를 쓴다면 🤗 Transformers의 prepare_tf_dataset 메서드를 사용해요. 이 메서드는 HuggingFace Dataset을 tf.data.Dataset로 감싸서 모델 훈련/미세조정에 바로 쓸 수 있게 준비해 줘요.

>>> import tensorflow as tf

>>> tf_dataset = model.prepare_tf_dataset(
...     dataset,
...     batch_size=4,
...     shuffle=True,
... )

Vision

이미지 데이터셋도 텍스트 데이터셋처럼 불러와요. 다만 토크나이저 대신 feature extractor로 데이터셋을 전처리해야 해요.

이 퀵스타트에서는 Beans 데이터셋을 불러와서 잎사귀 이미지로 질병을 판별하는 모델을 훈련시켜 볼게요.

1. load_dataset() 함수에 데이터셋 이름과 데이터셋 분할을 넘겨 Beans 데이터셋을 불러옵니다.

>>> from datasets import load_dataset, Image

>>> dataset = load_dataset("AI-Lab-Makerere/beans", split="train")

2. 🤗 Transformers 라이브러리에서 사전훈련된 ViT 모델과 그에 맞는 feature extractor를 불러와요.

>>> from transformers import AutoModelForImageClassification, AutoFeatureExtractor

>>> model = AutoModelForImageClassification.from_pretrained("google/vit-base-patch16-224-in21k")
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("google/vit-base-patch16-224-in21k")

3. 이미지를 텐서로 변환하는 전처리 함수를 만든 뒤 map() 함수로 데이터셋의 배치에 적용해서 처리를 빠르게 해요.

>>> def transforms(examples):
...     examples["pixel_values"] = [feature_extractor(image, return_tensors="pt")["pixel_values"][0] for image in examples["image"]]
...     return examples

>>> dataset = dataset.map(transforms, batched=True)

4. rename_column() 함수로 labels 컬럼을 label로 이름을 바꿔요.

with_format() 함수로 데이터셋 포맷을 torch로 설정합니다.

>>> import torch

>>> dataset = dataset.rename_column("labels", "label")
>>> dataset = dataset.with_format(type="torch", columns=["pixel_values", "label"])
>>> dataloader = torch.utils.data.DataLoader(dataset, batch_size=4)

TensorFlow용으로는 prepare_tf_dataset 메서드로 tf.data.Dataset을 준비해요.

>>> import tensorflow as tf

>>> tf_dataset = model.prepare_tf_dataset(
...     dataset,
...     batch_size=4,
...     shuffle=True,
... )

NLP

텍스트는 tokenizer로 개별 토큰으로 분절해야 해요.

이 퀵스타트에서는 Microsoft Research Paraphrase Corpus (MRPC) 훈련 데이터셋을 불러와서 두 문장의 의미가 같은지 판별하는 모델을 훈련시킬 거예요.

1. load_dataset() 함수에 데이터셋 이름, 데이터셋 설정, 데이터셋 분할을 넘겨 MRPC 데이터셋을 불러옵니다.

>>> from datasets import load_dataset

>>> dataset = load_dataset("nyu-mll/glue", "mrpc", split="train")

2. 🤗 Transformers 라이브러리에서 사전훈련된 BERT 모델과 그에 맞는 토크나이저를 불러와요. 모델을 불러온 뒤 일부 가중치가 초기화되지 않았다는 경고가 나오는 건 정상이에요.

>>> from transformers import AutoModelForSequenceClassification, AutoTokenizer

>>> model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased")
>>> tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

TensorFlow를 쓴다면:

>>> from transformers import TFAutoModelForSequenceClassification, AutoTokenizer

>>> model = TFAutoModelForSequenceClassification.from_pretrained("bert-base-uncased")
>>> tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

3. 데이터셋을 토큰화하는 함수를 만들고, 텍스트를 잘라내고 패딩해서 깔끔한 직사각형 텐서로 만들어요. 토크나이저는 데이터셋에 input_ids, token_type_ids, attention_mask라는 세 개의 새 컬럼을 생성해요. 이들이 모델 입력이에요.

map() 함수로 토큰화 함수를 데이터셋의 배치에 적용해서 처리를 빠르게 해요.

>>> def encode(examples):
...     return tokenizer(examples["sentence1"], examples["sentence2"], truncation=True, padding="max_length")

>>> dataset = dataset.map(encode, batched=True)
>>> dataset[0]
{'sentence1': 'Amrozi accused his brother , whom he called " the witness " , of deliberately distorting his evidence .',
 ...

4. label 컬럼을 labels로 이름을 바꿔요. labels는 BertForSequenceClassification이 기대하는 입력 이름이에요.

>>> dataset = dataset.map(lambda examples: {"labels": examples["label"]}, batched=True)

with_format() 함수로 데이터셋 포맷을 torch로 설정하고, 포맷할 컬럼을 지정해요.

PyTorch 텐서로 변환한 뒤에는 데이터셋을 torch.utils.data.DataLoader로 감쌉니다.

>>> import torch

>>> dataset = dataset.select_columns(["input_ids", "token_type_ids", "attention_mask", "labels"])
>>> dataset = dataset.with_format(type="torch")
>>> dataloader = torch.utils.data.DataLoader(dataset, batch_size=32)

TensorFlow용으로는 prepare_tf_dataset 메서드로 tf.data.Dataset을 준비해요.

>>> import tensorflow as tf

>>> tf_dataset = model.prepare_tf_dataset(
...     dataset,
...     batch_size=4,
...     shuffle=True,
... )

다음은 무엇을?

여기까지 🤗 Datasets 퀵스타트를 마쳤어요. 이제 단 하나의 함수로 텍스트·오디오·이미지 데이터셋을 불러오고, 모델이 훈련할 수 있게 준비할 수 있어요.

출처: 공식문서