Nemotron3.5-Lightning

NVIDIA Nemotron 3.5 Lightning은 30B-A3B 하이브리드 추론 LLM이에요. SGLang에서 NVFP4 서빙과 함께 MTP, DFlash, DSpark 추측 디코딩, 추론, 도구 호출을 제공해요.

출처: 문서

본문

Deployment

모든 방법과 하드웨어 플랫폼에 대해서는 [공식 SGLang 설치 가이드](../../../docs/get-started/install)를 참고하세요. 아래 두 경로는 명령 패널의 **Python / Docker** 토글과 일치해요. ```bash pip install --upgrade pip pip install uv SGLANG_BUILD_RUST_EXTS=none uv pip install --prerelease=allow 'git+https://github.com/sgl-project/sglang.git#subdirectory=python' ```

  그런 다음 해당 환경에서 아래 명령 패널의 **Python** 출력을 실행하세요.
</Tab>

<Tab title="Docker">
  ```bash
  docker pull lmsysorg/sglang:dev-nemotron3-5-lightning
  ```

  이미지 실행 방법은 [Install → Method 3: Using Docker](../../../docs/get-started/install#method-3-using-docker)를 참고하세요. 안쪽의 `sglang serve ...`를 아래 명령 생성기가 만들어 내는 것으로 대체하세요.
</Tab>

하드웨어와 레시피를 선택해 실행 명령을 생성하세요. 모든 플랫폼은 Balanced(추측 없음)와 세 가지 추측 디코더 — MTP, DFlash, DSpark — 의 네 가지 동작 포인트를 제공해요. 그 이상의 노브를 탐색하려면 아래 Playground를 사용하세요.

Playground

Playground는 검증된 매트릭스를 넘어 SGLang 기능을 실험하는 곳이에요. 위 Deploy 패널은 SGLang 팀이 승인한 조합만 생성하며, Playground는 Deploy 패널이 현재 표시 중인 셀 위에 추가 노브를 켤 수 있게 해 줘요.

1. Model Introduction

NVIDIA Nemotron 3.5 Lightning은 30B-A3B 하이브리드 추론 LLM이에요. 아키텍처와 평가 세부 사항은 아래 Hugging Face 모델 카드를 참고하세요.

Checkpoint	Precision	Use
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4	NVFP4	Serving — the checkpoint this page deploys
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16	BF16	Full-precision reference
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DFlash	W4A16	DFlash speculative draft model
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark	W4A16	DSpark speculative draft model

MTP는 별도 다운로드가 필요 없어요 — draft 헤드가 대상 체크포인트에 내장되어 있거든요.

2. Usage

서버는 OpenAI API를 제공해요. --reasoning-parser nemotron_3을 활성화하면 thinking 트레이스가 message.reasoning_content에, 답변이 message.content에 들어와요.

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8000/v1",
    api_key="null",
)

response = client.chat.completions.create(
    model="nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Briefly explain: what is SGLang?"},
    ],
    temperature=1.0,
    top_p=0.95,
    max_tokens=1024,
)
choice = response.choices[0]
print("Reasoning:", choice.message.reasoning_content)
print("Content:", choice.message.content)

2.1 Tool Calling

--tool-call-parser qwen3_coder를 활성화하면 구조화된 도구 호출이 message.tool_calls에 반환돼요.

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8000/v1",
    api_key="null",
)

TOOLS = [
    {
        "type": "function",
        "function": {
            "name": "calculate_tip",
            "parameters": {
                "type": "object",
                "properties": {
                    "bill_total": {"type": "integer", "description": "The total amount of the bill"},
                    "tip_percentage": {"type": "integer", "description": "The percentage of tip to be applied"},
                },
                "required": ["bill_total", "tip_percentage"],
            },
        },
    }
]

response = client.chat.completions.create(
    model="nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4",
    messages=[{"role": "user", "content": "My bill is $50. What will be the amount for 15% tip?"}],
    tools=TOOLS,
    max_tokens=1024,
)
choice = response.choices[0]
print("Content:", choice.message.content)
print("Tool calls:", choice.message.tool_calls)

Nemotron3.5-Lightning