gpt-oss 추론 예시 — Transformers로 쓰기
gpt-oss 추론 예시
gpt-oss-120b와 gpt-oss-20b를 Transformers 라이브러리로 바로 쓸 수 있어요.
pipeline 사용
from transformers import pipeline
import torch
model_id = "openai/gpt-oss-120b"
pipe = pipeline(
"text-generation",
model=model_id,
...
)
Transformers의 채팅 템플릿을 쓰면 Harmony 응답 포맷이 자동으로 적용돼요. 반면 model.generate를 직접 쓴다면 채팅 템플릿이나 openai-harmony 패키지를 써서 Harmony 포맷을 수동으로 적용해야 해요. 이 포맷을 지키지 않으면 모델이 제대로 동작하지 않아요.
참고
- 스트리밍·멀티턴·도구 사용 등 상세 예시는 공식 저장소의 guide 폴더와 model card를 참고하세요.
- 모든 평가는 같은 MXFP4 양자화로 수행됐어요 — 배포 때도 이 양자화 상태 그대로 쓰는 것이 정확도 기준과 일치해요.