InternLM3 8B Instruct 모델 카드

InternLM3 8B Instruct 모델 카드

InternLM3-8B-Instruct 는 일반 목적과 고급 추론을 겨냥한 8B 인스트럭트 모델이에요. 적은 데이터로 높은 성능을 낸 사례라, 리소스가 제한된 프로젝트에서도 고성능 추론을 원한다면 좋은 선택이에요.

출처: https://huggingface.co/internlm/internlm3-8b-instruct

핵심 특징

  • 파라미터: 8B
  • 훈련 토큰: 4조(4T) — 같은 규모 모델 대비 75% 이상 비용 절감
  • 목적: 일반 목적 + 고급 추론
  • 추론 모드: 장사슬(long CoT) 심층 추론 / 빠른 일반 응답

시작하기 (transformers)

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_dir = "internlm/internlm3-8b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_dir,
    trust_remote_code=True,
    torch_dtype=torch.float16,  # float16 로 로드해 OOM 방지
)

torch_dtype=torch.float16 을 주지 않으면 float32 로 로드돼서 메모리 부족(OOM)이 날 수 있어요.

더 알아보기