인증

인증 (Authentication)

비공개 또는 gated 데이터셋에 접근하려면 먼저 인증해야 해요. 인증은 gated·비공개 데이터셋에 대한 접근을 인증·승인하는 데 사용될 access token을 제공하는 방식으로 이뤄집니다. 첫 단계는 계정의 access token을 만드는 것인데, Hugging Face Settings - Tokens에서 할 수 있어요.

출처: 문서

본문

비공개 또는 gated 데이터셋에 접근하려면 먼저 인증해야 합니다. 인증은 gated 및 비공개 데이터셋에 대한 접근을 인증·승인하는 데 사용될 access token을 제공하는 방식으로 동작해요. 첫 번째 단계는 계정의 access token을 만드는 것이며, Hugging Face Settings - Tokens에서 할 수 있습니다.

토큰을 제공하는 방법은 세 가지가 있습니다: 환경 변수 설정, reader에 파라미터 전달, Hugging Face CLI 사용.

환경 변수 (Environment variable)

HF_TOKEN 환경 변수를 설정하면 Polars가 Hugging Face에서 데이터셋을 요청할 때 자동으로 사용합니다.

export HF_TOKEN="***"

파라미터 (Parameters)

storage_options 파라미터를 통해 reader(예: read_parquet)에 access token을 명시적으로 제공할 수도 있어요. 모든 파라미터의 전체 개요는 API reference guide를 확인하세요.

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

또는 Hugging Face CLI로 인증할 수 있어요. hf auth login으로 성공적으로 로그인하면 access token이 기본적으로 ~/.cache/huggingface인 HF_HOME 디렉터리에 저장됩니다. 그러면 Polars가 이 토큰을 인증에 사용해요.

여러 방법이 지정된 경우 다음 순서로 우선순위가 매겨집니다:

파라미터 (storage_options)
환경 변수 (HF_TOKEN)
CLI

더 알아보기 (Learn more)

비공개·gated 데이터셋을 Polars로 읽을 때는 storage_options={"token": ...} 파라미터를 가장 우선하고 그다음 HF_TOKEN, CLI 순으로 해석돼요. hf auth login으로 CLI 인증을 해두면 별도 설정 없이 바로 읽을 수 있습니다. Polars의 read_parquet API와 인증 관련 문서를 함께 참고하세요.