Transformers 모델 연동
Transformers 모델 연동
Hugging Face transformers로 훈련한 모델은 ctranslate2.converters.TransformersConverter로 바로 CTranslate2 포맷으로 바꿀 수 있어요. 토크나이저와 어댑터 정보까지 함께 유지되죠.
변환 예시
import ctranslate2
converter = ctranslate2.converters.TransformersConverter("sshleifer/distilbart-cnn-12-6")
converter.convert("ct2_model", quantization="int8")
변환한 뒤에는 원래 모델의 토크나이저는 그대로 쓰고, 인코더/디코더 추론만 CTranslate2가 담당해요.
확인 포인트
- 변환은 한 번만 해 두면 되고, 이후에는 변환된 디렉터리를 로드하면 돼요.
quantization인자로 int8, int16, float16 중 선택할 수 있어요.
출처: https://opennmt.net/CTranslate2/guides/transformers.html