huggingface_hub 파일 다운로드 — 스냅샷과 단일 파일
huggingface_hub 파일 다운로드
모델을 쓸 때 가장 흔한 작업이 허브에서 파일을 내려받는 거예요. huggingface_hub는 저장소 전체를 한 번에 내려받는 방법과, 필요한 파일만 골라 내려받는 방법을 모두 제공해요.
저장소별 다운로드
snapshot_download()— 저장소(repo)의 전체 스냅샷을 로컬 디렉터리로 내려받아요.hf_hub_download()— 저장소 안의 특정 파일 하나를 내려받아요.
두 함수 모두 로컬에 캐시를 만들어 두기 때문에, 같은 파일을 다시 받을 땐 네트워크를 거치지 않고 캐시를 재사용해요.
네트워크 대기 시간 줄이기
전 세계에 퍼진 컬랙터 접근을 위해, HF_HUB_ENABLE_HF_TRANSFER=1 환경 변수를 켜면 hf_transfer라는 고속 Rust 기반 클라이언트로 다운로드를 가속할 수 있어요. 설치가 필요하다면 pip install hf_transfer로 받아요. 큰 모델 파일을 내려받는 팀에서 특히 유용해요.
주의할 점
- 파일 경로는 슬래시(
/)로 된 저장소 내부 경로를 그대로 써요. - 인증이 필요한 개인(gated) 저장소라면 먼저 로그인해야 해요 (
huggingface-cli login또는 토큰).