파일 형식

파일 형식 (File formats)

허깅페이스에서 데이터를 읽을 때 Polars는 여러 파일 형식을 지원해요. 대표적으로 Parquet, CSV, JSON Lines를 다루며, 각각 read_parquet, read_csv, read_ndjson 함수로 불러올 수 있어요. 아래 예시는 기본 설정만 보여주니, 모든 파라미터를 확인하려면 API 레퍼런스 링크를 참고해 주세요.

출처: 문서

본문

Polars는 Hugging Face에서 읽을 때 다음 파일 형식을 지원해요:

• Parquet
• CSV
• JSON Lines

아래 예시는 기본 설정만 보여줘요. 모든 사용 가능한 파라미터를 보려면 위 링크의 API 레퍼런스 가이드를 참고해 주세요.

Parquet

Parquet는 파일 안에 타입 정보가 포함된 스키마를 함께 저장하므로 선호되는 형식이에요. 파싱의 모호함을 피하고 읽기 속도를 높여주죠. Polars에서 Parquet 파일을 읽으려면 read_parquet 함수를 사용해요:

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

CSV

read_csv 함수로 CSV 파일을 읽을 수 있어요:

pl.read_csv("hf://datasets/lhoestq/demo1/data/train.csv")

JSON

Polars는 read_ndjson 함수로 개행 구분 JSON — 일명 json lines — 을 읽는 것을 지원해요:

pl.read_ndjson("hf://datasets/proj-persona/PersonaHub/persona.jsonl")

더 알아보기 (Learn more)

• Parquet은 스키마와 타입 정보를 파일에 함께 저장해서 파싱 모호성이 없고 읽기가 빨라서 가장 권장돼요.
• hf:// 프로토콜을 사용하면 허깅페이스 데이터셋을 Polars에서 바로 읽을 수 있어요.