🤗 Datasets 사용하기

🤗 Datasets 사용하기 (Using 🤗 Datasets)

Hugging Face Hub에서 흥미로운 데이터셋을 찾았다면 🤗 Datasets 라이브러리로 데이터셋을 불러올 수 있어요. 데이터셋 페이지의 Use this dataset 버튼을 클릭하면 데이터셋을 불러오는 코드를 복사할 수 있습니다.

출처: 문서

본문

Hugging Face Hub에서 흥미로운 데이터셋을 찾았다면 🤗 Datasets를 사용해 그 데이터셋을 불러올 수 있어요. Use this dataset 버튼을 클릭하면 데이터셋을 불러오는 코드를 복사할 수 있습니다.

먼저 Hugging Face 계정으로 로그인해야 하며, 예를 들어 다음과 같이 합니다:

hf auth login

그런 다음 🤗 Datasets로 Hugging Face Hub에서 데이터셋을 불러올 수 있어요:

from datasets import load_dataset

dataset = load_dataset("username/my_dataset")

# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset  = load_dataset("username/my_dataset", split="test")

데이터셋을 Hugging Face Hub에 업로드할 수도 있습니다:

my_new_dataset.push_to_hub("username/my_new_dataset")

이렇게 하면 Dataset을 Parquet 형식으로 담은 username/my_new_dataset 데이터셋 저장소가 생성되며, 나중에 다시 불러올 수 있어요.

🤗 Datasets 사용에 대한 자세한 내용은 🤗 Datasets 문서의 tutorials과 how-to guides를 확인하세요.

더 알아보기 (Learn more)

load_dataset("username/my_dataset")로 Hub의 데이터셋을 불러오고, split 파라미터로 train/validation/test 스플릿을 따로 로드할 수 있어요. 내 데이터셋은 my_dataset.push_to_hub("username/my_new_dataset")로 업로드하면 Parquet 형식 저장소가 만들어집니다. 더 자세한 사용법은 🤗 Datasets 문서의 튜토리얼과 가이드를 참고하세요.