Granite Code 모델 제품군 — 크기와 변형
Granite Code 모델 제품군 — 크기와 변형
Granite Code 모델 제품군은 Base 모델과 Instruct 모델 두 가지 변형으로 나뉘어요. 크기는 3B, 8B, 20B, 34B 네 가지로 제공돼요. Base는 코드 관련 태스크(수리·설명·합성)를 위한 기초 모델이고, Instruct는 Git 커밋과 인간 지시, 오픈소스 합성 코드 지시 데이터셋의 조합으로 파인튜닝된 명령 추종 모델이에요.
사전 훈련
Granite Code Base 모델은 코드 데이터와 코드 관련 자연어 데이터셋 3~4T 토큰으로 훈련했어요. 데이터는 StarCoder와 같은 토크나이저(BPE)로 토큰화했고, 두 단계로 훈련했죠.
- 1단계(코드 전용 훈련): 3B·8B는 코드 데이터 4T 토큰(116개 언어), 20B는 코드 3T 토큰, 34B는 20B 모델의 1.6T 체크포인트에서 depth upscaling 후 1.4T 토큰 추가 훈련.
모델 목록
ibm-granite/granite-3b-code-base-2kibm-granite/granite-3b-code-instruct-2kibm-granite/granite-8b-code-base-4kibm-granite/granite-8b-code-instruct-4kibm-granite/granite-20b-code-base-8kibm-granite/granite-20b-code-instruct-8kibm-granite/granite-34b-code-base-8kibm-granite/granite-34b-code-instruct-8k