허브의 저장소(Repositories)

허브의 저장소(Repositories)

모델·스페이스·데이터셋은 Hub에서 Git 저장소로 호스팅돼요. 즉 버전 관리와 협업이 Hub의 핵심 요소예요. 저장소(repo)는 작업을 백업하고 커뮤니티와 공유하며 팀으로 협업하는 공간이에요. Git은 AI/ML용으로 최적화되어 있어서, Parquet·Safetensors 같은 큰 바이너리 파일을 테라바이트 단위까지 다룰 수 있게 설계했어요.

Git 히스토리가 필요 없는 가변 객체 저장소를 원한다면 Storage Buckets를 써요. S3 같은 객체 저장소로 Git 히스토리 없이 동작해요.

출처: https://huggingface.co/docs/hub/repositories

Xet 저장 시스템

AI/ML 개발을 위해 Hub는 Xet이라는 전용 저장 시스템을 구축했어요. 청크 단위 중복 제거, 더 작은 업로드, 더 빠른 다운로드를 실현해요. 큰 모델 파일을 자주 주고받는 워크플로에서 특히 체감이 커요.

Git 시작하기

저장소는 Git 저장소라 평소 git 워크플로를 그대로 쓸 수 있어요. 로컬에 클론하고, 파일을 커밋하고, 원격 저장소에 푸시하면 돼요.

git clone https://huggingface.co/username/my-model
cd my-model
# 파일 수정 후
git add .
git commit -m "update weights"
git push

huggingface_hub 파이썬 라이브러리도 별도로 제공되어, upload_file, create_repo 같은 API로 파일·저장소를 관리할 수 있어요.

저장소 설정과 한도

저장소마다 이름, 가시성(공개/비공개), 라이선스 같은 설정을 관리할 수 있어요. 저장 용량 한도(storage limits)도 정해져 있고, 이에 맞춰 BFT·LFS 설정을 하면 됩니다.

협업 기능

  • Pull Requests & Discussions: 코드 리뷰와 토론으로 협업해요.
  • 컬렉션(Collections): 여러 저장소를 주제별로 묶어 공유해요.
  • 웹훅(Webhooks): 저장소 이벤트를 외부 서비스로 전달해요.
  • 알림(Notifications): 관련 이벤트를 놓치지 않게 도와줘요.

더 알아보기