Transformers
Transformers
Transformers는 텍스트, 컴퓨터 비전, 오디오, 비디오, 멀티모달 모델 분야에서 최신 기계 학습 모델을 위한 모델 정의 프레임워크로, 추론과 훈련 모두를 지원합니다. 이 문서는 Transformers 라이브러리의 핵심 개념과 사용법을 소개합니다.
출처: 문서
본문
Transformers는 최신 기계 학습 모델(텍스트, 컴퓨터 비전, 오디오, 비디오, 멀티모달)을 위한 모델 정의 프레임워크로, 추론(inference)과 훈련(training) 모두를 지원합니다.
이 라이브러리는 모델 정의를 중앙화하여 생태계 전반에서 동일한 정의를 공유하도록 합니다. transformers는 여러 프레임워크를 잇는 중심축입니다. 어떤 모델 정의가 지원되면, 대부분의 훈련 프레임워크(Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning 등), 추론 엔진(vLLM, SGLang, TGI 등), 그리고 인접한 모델링 라이브러리(llama.cpp, mlx 등)와 호환되며, 이들은 모두 transformers의 모델 정의를 활용합니다.
저희는 새로운 최신 모델을 지원하고, 그 모델 정의를 단순하고 사용자 정의 가능하며 효율적으로 만들어 그 사용을 대중화하는 것을 목표로 합니다.
Hugging Face Hub에는 사용할 수 있는 100만 개가 넘는 Transformers 모델 체크포인트가 있습니다.
오늘 Hub를 탐색해 모델을 찾고 Transformers를 사용해 바로 시작해 보세요.
Models Timeline을 탐색해 Transformers의 최신 텍스트, 비전, 오디오, 멀티모달 모델 아키텍처를 확인해 보세요.
Features
Transformers는 최신 사전 훈련 모델을 사용한 추론 또는 훈련에 필요한 모든 것을 제공합니다. 주요 기능은 다음과 같습니다.
- Pipeline: 텍스트 생성, 이미지 분할, 자동 음성 인식, 문서 질문 응답 등 다양한 기계 학습 작업을 위한 단순하고 최적화된 추론 클래스입니다.
- Trainer: 혼합 정밀도, torch.compile, FlashAttention, 분산 훈련 등 PyTorch 모델의 훈련과 분산 훈련을 지원하는 포괄적인 트레이너입니다.
- generate: 스트리밍과 여러 디코딩 전략을 지원하는 대규모 언어 모델(LLM) 및 비전 언어 모델(VLM)을 사용한 빠른 텍스트 생성 기능입니다.
Design
[!TIP] Transformers의 설계 원칙에 대해 더 자세히 알아보려면 Philosophy 문서를 읽어 보세요.
Transformers는 개발자, 기계 학습 엔지니어, 연구자를 위해 설계되었습니다. 주요 설계 원칙은 다음과 같습니다.
- 빠르고 사용하기 쉬움: 모든 모델은 세 가지 주요 클래스(configuration, model, preprocessor)만으로 구현되며, Pipeline 또는 Trainer를 통해 추론이나 훈련에 빠르게 사용할 수 있습니다.
- 사전 훈련 모델: 완전히 새로운 모델을 훈련하는 대신 사전 훈련 모델을 사용해 탄소 발자국, 계산 비용, 시간을 줄이세요. 각 사전 훈련 모델은 원본 모델과 최대한 유사하게 재현되며 최신 성능을 제공합니다.
Learn
Transformers를 처음 접하거나 트랜스포머 모델에 대해 더 배우고 싶다면 LLM 코스로 시작하는 것이 좋습니다. 이 포괄적인 코스는 트랜스포머 모델이 어떻게 동작하는지에 대한 기초부터 다양한 작업에서의 실용적 응용까지 모든 것을 다룹니다. 고품질 데이터셋 큐레이션부터 대규모 언어 모델 파인튜닝, 추론 능력 구현까지 완전한 워크플로우를 배우게 됩니다. 이 코스는 트랜스포머 모델에 대한 탄탄한 기초 지식을 쌓을 수 있도록 이론과 실습을 모두 포함합니다.