Daft

Daft

Daft는 어떤 모달리티와 규모에서든 간단하고 신뢰할 수 있는 데이터 처리를 제공하는 고성능 데이터 엔진이에요. Daft는 Hugging Face 데이터셋에서 읽고 쓰는 것을 네이티브로 지원합니다.

출처: 문서

본문

Daft는 모든 모달리티와 규모에서 간단하고 신뢰할 수 있는 데이터 처리를 제공하는 고성능 데이터 엔진입니다. Daft는 Hugging Face 데이터셋에서 읽고 쓰는 것을 네이티브로 지원해요.

시작하기 (Getting Started)

시작하려면 huggingface 기능과 함께 daft를 pip 설치하세요:

pip install 'daft[huggingface]'

읽기 (Read)

Daft는 daft.read_huggingface() 함수 또는 hf://datasets/ 프로토콜을 사용해 Hugging Face Hub에서 데이터셋을 직접 읽을 수 있어요.

전체 데이터셋 읽기 (Reading an Entire Dataset)

daft.read_huggingface()를 사용하면 데이터셋을 쉽게 불러올 수 있습니다.

import daft

df = daft.read_huggingface("username/dataset_name")

이렇게 하면 전체 데이터셋을 DataFrame으로 읽어옵니다.

특정 파일 읽기 (Reading Specific Files)

전체 데이터셋뿐만 아니라 데이터셋 저장소의 개별 파일도 읽을 수 있어요. 경로를 받는 읽기 함수(daft.read_parquet(), daft.read_csv(), 또는 daft.read_json() 같은)를 사용할 때 hf://datasets/ 접두사로 Hugging Face 데이터셋 경로를 지정하세요:

import daft

# read a specific Parquet file
df = daft.read_parquet("hf://datasets/username/dataset_name/file_name.parquet")

# or a csv file
df = daft.read_csv("hf://datasets/username/dataset_name/file_name.csv")

# or a set of Parquet files using a glob pattern
df = daft.read_parquet("hf://datasets/username/dataset_name/**/*.parquet")

쓰기 (Write)

Daft는 daft.DataFrame.write_huggingface를 사용해 Parquet 파일을 Hugging Face 데이터셋 저장소에 쓸 수 있어요. Daft는 더 빠르고 중복 제거된 쓰기를 위해 Content-Defined Chunking과 Xet을 지원합니다.

기본 사용법:

import daft

df: daft.DataFrame = ...

df.write_huggingface("username/dataset_name")

자세한 내용은 DataFrame.write_huggingface API 페이지를 확인하세요.

인증 (Authentication)

daft.io.HuggingFaceConfig의 token 파라미터로 인증이 필요한 요청(예: 비공개 데이터셋 저장소 읽기 또는 데이터셋 저장소에 쓰기)에 사용할 Hugging Face 액세스 토큰을 지정할 수 있어요.

토큰을 지정해 데이터셋을 불러오는 예시:

from daft.io import IOConfig, HuggingFaceConfig

io_config = IOConfig(hf=HuggingFaceConfig(token="your_token"))
df = daft.read_parquet("hf://datasets/username/dataset_name", io_config=io_config)

더 알아보기 (Learn more)

daft.read_huggingface("username/dataset_name")로 전체 데이터셋을, hf://datasets/ 접두사 경로로 특정 파일을 불러올 수 있어요. 쓰기는 df.write_huggingface("username/dataset_name")로 Parquet을 저장합니다. 비공개 저장소 작업이나 쓰기에는 HuggingFaceConfig(token=...)로 토큰 인증을 지정하세요.