공유 — 데이터스케쳐스 위키

Hugging Face Hub는 모든 유형·크기의 모델을 공유하고, 발견하고, 사용하는 플랫폼이에요. 우리는 모델을 Hub에 공유해서 오픈소스 머신러닝을 모두를 위해 앞으로 나아가게 하는 것을 적극 권장해요!

이 가이드는 Transformers에서 모델을 Hub로 공유하는 방법을 보여줄게요.

설정

모델을 Hub에 공유하려면 Hugging Face 계정이 필요해요. User Access Token을 만들고(기본적으로 캐시에 저장) 커맨드 라인이나 노트북에서 계정에 로그인해요.

Hugging Face CLI:

hf auth login

노트북:

from huggingface_hub import notebook_login

notebook_login()

저장소 기능 (Repository features)

각 모델 저장소는 버전 관리, 커밋 히스토리, diff 시각화 기능을 갖추고 있어요.

diff

버전 관리는 Git과 Git Large File Storage(LFS)를 기반으로 하며, 커밋 해시·태그·브랜치로 모델 버전을 지정하는 리비전(revision)을 지원해요.

예를 들어 [~PreTrainedModel.from_pretrained]의 revision 파라미터로 커밋 해시의 특정 모델 버전을 로드해요.

model = AutoModel.from_pretrained(
    "julien-c/EsperBERTo-small", revision="4c77982"
)

모델 저장소는 모델에 접근할 수 있는 사람을 제어하는 게이팅(gating)도 지원해요. 게이팅은 연구 모델을 공개하기 전에 선택된 사용자 그룹이 미리 볼 수 있게 할 때 흔히 쓰여요.

gated

모델 저장소에는 사용자가 Hub에서 모델과 직접 상호작용할 수 있는 추론 위젯도 포함돼요.

Hub Models 문서에서 더 자세한 내용을 확인해요.

모델 업로드 (Uploading a model)

워크플로 선호도에 따라 모델을 Hub에 업로드하는 방법은 여러 가지예요. [Trainer]로 모델을 푸시하거나, 모델에서 [~PreTrainedModel.push_to_hub]을 직접 호출하거나, Hub 웹 인터페이스를 쓸 수 있어요.

Trainer

[Trainer]는 훈련 후 모델을 Hub에 직접 푸시할 수 있어요. [TrainingArguments]에서 push_to_hub=True를 설정하고 [Trainer]에 넘겨요. 훈련이 끝나면 [~transformers.Trainer.push_to_hub]을 호출해 모델을 업로드해요.

[~transformers.Trainer.push_to_hub]은 훈련 하이퍼파라미터·결과 같은 유용한 정보를 모델 카드에 자동으로 추가해요.

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(output_dir="my-awesome-model", push_to_hub=True)
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
    compute_metrics=compute_metrics,
)
trainer.push_to_hub()

PushToHubMixin

[~utils.PushToHubMixin]은 모델이나 토크나이저를 Hub에 푸시하는 기능을 제공해요.

모델에서 [~utils.PushToHubMixin.push_to_hub]을 직접 호출해 Hub에 업로드해요. 이 호출은 [~utils.PushToHubMixin.push_to_hub]에 지정된 모델 이름으로 네임스페이스 아래에 저장소를 만들어요.

model.push_to_hub("my-awesome-model")

토크나이저 같은 다른 객체도 같은 방식으로 Hub에 푸시돼요.

tokenizer.push_to_hub("my-awesome-model")

이제 Hugging Face 프로필에 새로 만든 모델 저장소가 표시돼야 해요. Files 탭으로 이동해 업로드된 모든 파일을 확인해요.

파일을 Hub에 푸시하는 방법에 대해 더 알아보려면 Upload files to the Hub 가이드를 참조해요.

Hub 웹 인터페이스

Hub 웹 인터페이스는 모델을 업로드하는 노코드 방식이에요.

New Model을 선택해 새 저장소를 만들어요.

new model

모델에 대한 정보를 추가해요.

저장소의 **소유자(owner)**를 선택해요. 자신이거나 소속된 조직이 될 수 있어요.
모델 이름을 고르는데, 이 이름이 저장소 이름이 되기도 해요.
모델이 공개(public)인지 비공개(private)인지 선택해요.
라이선스 사용을 설정해요.

Create model을 클릭해 모델 저장소를 만들어요.
Files 탭을 선택하고 Add file 버튼을 클릭해 파일을 저장소로 드래그앤드롭해요. 커밋 메시지를 추가하고 Commit changes to main을 클릭해 파일을 커밋해요.

upload

모델 카드 (Model card)

모델 카드는 사용자에게 모델의 성능, 한계, 잠재적 편향, 윤리적 고려 사항을 알려줘요. 저장소에 모델 카드를 추가하는 것을 적극 권장해요!

모델 카드는 저장소의 README.md 파일이에요. 다음 방법으로 이 파일을 추가해요.

README.md 파일을 직접 만들어 업로드하기
저장소에서 Edit model card 버튼 클릭하기

Llama 3.1 모델 카드에서 모델 카드에 포함할 내용의 예시를 확인해요.

Model Cards 가이드에서 사용 가능한 다른 모델 카드 메타데이터(탄소 배출, 라이선스, 논문 링크 등)를 더 알아보세요.

출처: Hugging Face Transformers — Sharing

더 알아보기 (Learn more)

Hub Models — 모델 저장소 기능
Upload files to the Hub — 파일 업로드 방법
Model Cards — 모델 카드 메타데이터

공유

공유 (Sharing)

설정