Intern-S1

Intern-S1

Intern-S1은 InternLM의 대형 Intern-S1 MoE 모델과 작은 Intern-S1-mini dense 모델을 포함해요. 아래 명령 생성기는 NVIDIA H100/H200/B200/B300 플랫폼에서 BF16과 FP8 서빙을 다뤄요.

출처: 문서

본문

1. Model Introduction

Intern-S1은 대형 Intern-S1 MoE 모델과 작은 Intern-S1-mini dense 모델을 포함해요. 아래 명령 생성기는 NVIDIA H100/H200/B200/B300 플랫폼에서 BF16과 FP8 서빙을 다뤄요.

2. SGLang Installation

공식 SGLang 설치 가이드를 참조하거나 소스에서 설치하세요:

uv pip install --prerelease=allow 'git+https://github.com/sgl-project/sglang.git#subdirectory=python'

3. Model Deployment

3.1 Basic Configuration

문서 상단의 대화형 Command Generator를 사용해 하드웨어·모델 크기(S1 235B MoE / S1-mini 8B Dense)·양자화(BF16/FP8)·reasoning/tool-call parser를 선택하면 서빙 명령이 생성돼요. 예시 기본 명령은 다음과 같아요.

python -m sglang.launch_server \
  --model internlm/Intern-S1 \
  --tp 8 \
  --trust-remote-code

S1 (235B MoE): H100/H200/B200/B300에서 BF16은 --tp 8, FP8은 --tp 8 --ep 2예요. S1-mini (8B Dense): 모든 플랫폼에서 --tp 1.

3.2 Configuration Tips

• FP8 체크포인트는 일치하는 BF16 체크포인트를 tokenizer path로 사용해요(--tokenizer-path internlm/Intern-<size>).
• B300 배포는 --attention-backend flashinfer를 사용해요.
• 워크로드에 구조화된 reasoning이나 tool-call 파싱이 필요하면 --reasoning-parser interns1과 --tool-call-parser interns1을 켜세요.
• Intern 시리즈는 커스텀 코드가 필요하므로 --trust-remote-code를 잊지 마세요.