프라이빗·게이티드 데이터셋 인증

프라이빗 또는 게이티드(gated) 데이터셋에 접근하려면 DuckDB Secrets Manager에 Hugging Face 토큰을 설정해야 해요.

출처: 문서

본문

접근 토큰은 Hugging Face 설정 - 토큰에서 얻을 수 있어요.

[!TIP] hf datasets sql로 쿼리한다면 토큰 시크릿이 로그인한 세션(또는 --token)에서 자동으로 설정되니, 수동 시크릿 설정이 필요 없어요.

DuckDB는 시크릿 관리를 위해 두 가지 프로바이더를 지원해요:

CONFIG: 사용자가 모든 설정 정보를 CREATE SECRET 문에 직접 넘겨야 해요.
CREDENTIAL_CHAIN: 자동으로 자격 증명을 가져와요. Hugging Face 토큰은 ~/.cache/huggingface/token에서 가져와요.

DuckDB Secrets에 대한 자세한 내용은 Secrets Manager 가이드를 참고하세요.

CREATE SECRET hf_token (TYPE HUGGINGFACE, TOKEN 'your_hf_token');

your_hf_token을 실제 Hugging Face 토큰으로 바꿔 주세요.

CREATE SECRET hf_token (TYPE HUGGINGFACE, PROVIDER credential_chain);

이 명령어는 ~/.cache/huggingface/token에 저장된 토큰을 자동으로 가져와요.

hf auth login

또는 환경 변수로 토큰을 설정할 수도 있어요:

export HF_TOKEN="«redacted:hf_…»"

인증에 대한 자세한 내용은 Hugging Face 인증 문서를 참고하세요.