Hugging Face에서 🤗 `transformers` 사용하기

Hugging Face에서 🤗 transformers 사용하기

🤗 transformers는 Hugging Face와 커뮤니티가 유지 관리하는 라이브러리로, PyTorch, TensorFlow, JAX를 위한 최신(state-of-the-art) 머신러닝을 제공해요. 텍스트, 비전, 오디오 같은 다양한 모달리티의 태스크를 수행할 수 있는 수천 개의 사전 학습 모델을 제공합니다. 다소 편향적이긴 하지만 저희는 🤗 transformers를 정말 좋아해요!

출처: 문서

본문

허브에서 🤗 transformers 탐색하기

허브에는 630,000개 이상의 transformers 모델이 있으며, 모델 페이지 왼쪽의 필터로 찾을 수 있어요.

다양한 태스크의 모델을 찾을 수 있습니다:

• 문맥에서 답 추출 (question-answering)
• 큰 텍스트에서 요약 생성 (summarization)
• 텍스트 분류(예: 스팸 여부, text-classification)
• GPT 같은 모델로 새 텍스트 생성 (text-generation)
• 문장에서 품사(동사, 주어 등)나 개체(국가, 조직 등) 식별 (token-classification)
• 오디오 파일을 텍스트로 변환 (automatic-speech-recognition)
• 오디오 파일의 화자 또는 언어 분류 (audio-classification)
• 이미지에서 객체 감지 (object-detection)
• 이미지 분할 (image-segmentation)
• 강화학습 수행 (reinforcement-learning)!

브라우저 내 위젯 덕분에 다운로드 없이 바로 모델을 시험해 보고 싶다면 브라우저에서 직접 실행해 볼 수도 있어요!

Transformers 저장소 파일

Transformers 모델 저장소에는 일반적으로 모델 파일과 전처리기(preprocessor) 파일이 들어 있어요.

모델 (Model)

• config.json 파일은 은닉 레이어 수, 어휘 크기, 어텐션 헤드 수, 각 헤드의 차원 등 모델 아키텍처에 대한 세부 정보를 저장해요. 이 메타데이터가 모델의 청사진이에요.

• model.safetensors 파일은 모델의 사전 학습 레이어와 가중치를 저장해요. 큰 모델의 경우 로드에 필요한 메모리를 제한하기 위해 safetensors 파일을 샤딩(sharding)합니다. model.safetensors.index.json 파일을 열어 모델 가중치가 어떤 safetensors 파일에서 로드되는지 확인할 수 있어요.

  {
  "metadata": {
    "total_size": 16060522496
  },
  "weight_map": {
    "lm_head.weight": "model-00004-of-00004.safetensors",
    "model.embed_tokens.weight": "model-00001-of-00004.safetensors",
    ...
    }
  }
  

  모델 카드의 ↗ 버튼을 클릭해 이 매핑을 시각화할 수도 있어요.

  Safetensors는 pickle보다 더 안전하고 빠른, 모델 가중치 저장용 직렬화 형식이에요. bin, pth, ckpt 같은 형식의 피클 가중치를 만날 수도 있지만, safetensors는 더 나은 대안으로 모델 생태계에서 점점 더 채택되고 있어요.

• 모델에는 샘플링 여부, 샘플링할 상위 토큰, temperature, 생성 시작·종료용 특수 토큰 등 텍스트 생성 방법에 대한 세부 정보를 저장하는 generation_config.json 파일이 있을 수도 있어요.

전처리기 (Preprocessor)

• tokenizer_config.json 파일은 모델이 추가한 특수 토큰을 저장해요. 이 특수 토큰은 문장의 시작, 채팅 템플릿을 위한 특정 형식, 이미지 표시 등 많은 것을 모델에 알려 줘요. 이 파일은 모델이 수용할 수 있는 최대 입력 시퀀스 길이, 전처리기 클래스, 반환하는 출력도 보여줘요.
• tokenizer.json 파일은 모델의 학습된 어휘(vocabulary)를 저장해요.
• **special_tokens_map.json**은 특수 토큰의 매핑이에요. 예를 들어 Llama 3.1-8B-Instruct에서 문자열 시작 토큰은 "<|begin_of_text|>"예요.

[!TIP] 다른 모달리티의 경우 tokenizer_config.json 파일은 preprocessor_config.json으로 대체됩니다.

기존 모델 사용하기

모든 transformers 모델은 한 줄이면 사용할 수 있어요! 사용 방식에 따라 pipeline 함수를 사용하는 고수준 API를 쓰거나, 더 세밀한 제어를 위해 AutoModel을 사용할 수 있어요.

# With pipeline, just specify the task and the model id from the Hub.
from transformers import pipeline
pipe = pipeline("text-generation", model="distilbert/distilgpt2")

# If you want more control, you will need to define the tokenizer and model.
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("distilbert/distilgpt2")
model = AutoModelForCausalLM.from_pretrained("distilbert/distilgpt2")

특정 버전(커밋 해시, 태그 이름, 또는 브랜치 기반)에서 모델을 로드할 수도 있어요:

model = AutoModel.from_pretrained(
    "julien-c/EsperBERTo-small", revision="v2.0.1"  # tag name, or branch name, or commit hash
)

특정 모델 로드 방법을 보고 싶다면 Use in Transformers를 클릭하면 로드할 수 있는 동작하는 스니펫을 얻을 수 있어요! 모델 아키텍처에 대한 추가 정보가 필요하면 스니펫 하단의 "Read model documentation"을 클릭할 수도 있어요.

모델 공유하기

transformers로 모델을 공유하는 방법에 대한 전체 내용은 공식 문서의 Share a model 가이드를 참고하세요.

transformers의 많은 클래스(모델, 토크나이저 등)에는 저장소로 파일을 쉽게 업로드할 수 있는 push_to_hub 메서드가 있어요.

# Pushing model to your own account
model.push_to_hub("my-awesome-model")

# Pushing your tokenizer
tokenizer.push_to_hub("my-awesome-model")

# Pushing all things after training
trainer.push_to_hub()

할 수 있는 일이 훨씬 더 많으니 Share a model 가이드를 확인해 보시길 권해요.

추가 자료

• Transformers 라이브러리
• Transformers 문서
• Share a model 가이드

더 알아보기 (Learn more)

• Transformers 공식 문서에서 파이프라인과 AutoModel의 모든 기능을 배울 수 있어요.
• 허브의 transformers 모델 목록을 탐색해 보세요.