CTranslate2 Python API — Translator · Generator

CTranslate2 Python API — Translator · Generator

CTranslate2의 Python 바인딩은 Translator와 Generator 같은 클래스를 제공해요. 번역·텍스트 생성·음성인식 등 작업을 몇 줄로 실행할 수 있어요.

주요 클래스

  • ctranslate2.Translator: 시퀀스-시퀀스 번역 모델 실행.
  • ctranslate2.Generator: 디코더 기반 텍스트 생성 모델 실행.
  • ctranslate2.models.ModelLoader: 모델을 로드하는 공통 진입점.
import ctranslate2
generator = ctranslate2.Generator(model_path)
tokens = generator.generate_batch([["<s>", "Hello"]])[0]

유용한 설정

  • device="cuda" / device_index로 GPU 지정.
  • compute_type="int8" 등으로 추론 정밀도를 골라 속도·메모리를 조절해요.
  • max_batch_size·beam_size·sampling_temperature 등 디코딩 옵션을 제공해요.

더 알아보기