허브의 모델(Model Hub)

허브의 모델(Model Hub)

Hugging Face Hub에는 다양한 머신러닝 작업용 모델이 호스팅돼요. 모델은 **저장소(repository)**에 저장되고, 그래서 Hub의 모든 저장소가 갖는 모든 기능(Git 버전 관리·컬래버레이션 등)을 그대로 누려요. 이 문서는 모델 허브의 구조와 주요 개념을 소개해요.

모델 저장소

모델은 Git 저장소 형태로 호스팅돼요. 내부는 여러 하위 폴더로 구성되는데, 변환기(transformers) 모델이라면 config.json, 모델 웨이트(보통 safetensors), tokenizer 파일 등이 들어가요. 각 모델 저장소에는 작업·언어·평가 결과 같은 메타데이터와 함께 모델 카드가 담겨 있어요.

출처: https://huggingface.co/docs/hub/models

모델 카드와 CO₂

모델 카드는 모델의 한계·편향·사용법을 알려주는 문서예요. 책임 있는 모델 사용을 위한 첫 관문이고, 훈련 데이터·벤치마크·한계를 명시하는 방식으로 작성돼요. CO₂ 배출량 추정값을 기록할 수도 있어서, 모델의 환경 비용을 투명하게 남길 수 있어요.

게이티드 모델(Gated models)

일부 모델은 사용자가 액세스 요청을 승인받아야 다운로드할 수 있는 게이티드(gated) 모델이에요. 라이선스 준수나 안전 정책 때문에 접근을 통제하고 싶을 때 써요. 사용자는 모델 카드의 "Access" 버튼으로 요청을 보내고 승인을 받아요.

업로드·다운로드

모델을 업로드하려면 huggingface_hub 파이썬 라이브러리나 git으로 저장소를 만들고 파일을 푸시해요. 다운로드는 from_pretrained() 또는 huggingface_hub의 snapshot_download()가 처리해요.

from huggingface_hub import snapshot_download

snapshot_download(repo_id="bert-base-uncased")

위젯과 추론

  • 위젯(Widgets): 모델 카드에 위젯을 달면 브라우저에서 바로 모델을 시험해 볼 수 있어요.
  • 모델 추론(Inference): Inference Providers의 서버리스 API 또는 로컬 라이브러리를 통해 모델을 실행할 수 있어요.

라이브러리 통합

Transformers, Diffusers, Sentence Transformers 등 수십 개의 라이브러리가 Hub와 통합돼 있어요. 즉 라이브러리에서 모델 id를 지정하면 자동으로 Hub에서 다운로드하고 캐시하며, 학습한 모델을 push_to_hub()로 바로 공유할 수 있어요.

더 알아보기