Ling-2.6

설정 팁 (Configuration Tips)

• 커스텀 모델링 코드를 쓰려면 --trust-remote-code가 필요해요.
• --model-loader-extra-config '{"enable_multithread_load":"true","num_threads":64}'는 다중 샤드 FP8 가중치 로드(26개 safetensors 샤드 + MTP 레이어)를 크게 빠르게 해 줘요.
• Tool calling에는 --tool-call-parser qwen을 사용하세요.
• 권장 기본 구성은 --reasoning-parser qwen3를 포함하지 않아요. Ling-2.6의 채팅 템플릿은 기본적으로 detailed thinking off로 동작하지만, SGLang의 qwen3 추론 파서는 기본 추론 시맨틱스를 가정해요 — 둘을 합치면 tool call 요청마다 별도 처리가 필요해져요 (see §4.3 추론 모드). reasoning... response 블록을 reasoning_content로 나누고 싶을 때만 --reasoning-parser qwen3를 켜세요.
• 2노드 배포에서는 두 노드 모두에 MASTER_IP, PORT, DIST_PORT를 일관되게 설정하세요.

4. 모델 호출

예를 들어, 단일 GB300 노드에 Ling-2.6-1T 서버를 띄운다면:

sglang serve \
  --model-path inclusionAI/Ling-2.6-1T \
  --tp-size 4 \
  --trust-remote-code \
  --host 0.0.0.0 \
  --port 30000 \
  --tool-call-parser qwen \
  --model-loader-extra-config '{"enable_multithread_load":"true","num_threads":64}'

4.1 기본 사용법 (Basic Usage)

curl -s http://${MASTER_IP}:${PORT}/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "auto", "messages": [{"role": "user", "content": "What is the capital of France?"}]}'

출력:

{
  "id": "...",
  "object": "chat.completion",
  "model": "auto",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "The capital of France is **Paris**.",
        "reasoning_content": null,
        "tool_calls": null
      },
      "finish_reason": "stop"
    }
  ]
}

4.2 Tool Calling 예시

curl -s http://${MASTER_IP}:${PORT}/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Search for the latest news about AI"}],
    "tools": [{
      "type": "function",
      "function": {
        "name": "search",
        "description": "Search for information on the internet",
        "parameters": {
          "type": "object",
          "properties": {
            "query": {"type": "string", "description": "The search query"}
          },
          "required": ["query"]
        }
      }
    }],
    "tool_choice": "auto"
  }'

출력:

{
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "id": "call_...",
            "type": "function",
            "function": {
              "name": "search",
              "arguments": "{\"query\": \"latest news about AI\"}"
            }
          }
        ]
      },
      "finish_reason": "tool_calls"
    }
  ]
}

4.3 추론 모드 (Thinking Mode)

Ling-2.6-flash와 Ling-2.6-1T는 모두 제어 가능한 추론(controllable-reasoning) 모델이에요. 채팅 템플릿은 시스템 메시지에 텍스트 지시어(detailed thinking on 또는 detailed thinking off)를 넣어 추론을 토글해요. 템플릿은 이 두 문구가 없으면 기본적으로 detailed thinking off 로 동작하며, Qwen3 스타일의 enable_thinking 템플릿 변수는 읽지 않아요.

추론 켜기 (Enabling thinking)

첫 시스템 메시지에 detailed thinking on을 포함하세요:

curl -s http://${MASTER_IP}:${PORT}/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [
      {"role": "system", "content": "detailed thinking on"},
      {"role": "user", "content": "If a box has 12 red balls and 8 blue balls, then 5 red balls are removed, how many balls remain?"}
    ]
  }'

이미 시스템 프롬프트가 있다면, 원하는 지시어를 별도 줄에 추가하세요:

{"role": "system", "content": "You are a helpful assistant.\ndetailed thinking on"}

추론이 켜지면 모델은 최종 답변 앞에 thinking... response 블록을 만들어요. 이것을 자동으로 message.reasoning_content로 분리하려면 서버를 --reasoning-parser qwen3로 함께 띄우면 되요.

주의: --reasoning-parser qwen3 + tool calling

SGLang의 qwen3 추론 파서는 Qwen3용으로 작성됐어요 — Qwen3 모델은 기본 추론형이고 클라이언트가 chat_template_kwargs.enable_thinking=false로 해제해요. Ling-2.6은 그 반대 — 기본 비추론형이고 시스템 메시지로 토글하죠. 그래서 서버를 --tool-call-parser qwen과 --reasoning-parser qwen3를 함께 띄우면, 모든 tool call 요청에 chat_template_kwargs.enable_thinking=false를 포함해야 해요. 그렇지 않으면 파서가 <tool_call>...</tool_call> 블록을 message.tool_calls 대신 reasoning_content로 보내거든요:

curl -s http://${MASTER_IP}:${PORT}/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user", "content": "Search for the latest news about AI"}],
    "tools": [...],
    "tool_choice": "auto",
    "chat_template_kwargs": {"enable_thinking": false}
  }'

여기서 enable_thinking은 채팅 템플릿이 아니라 SGLang 추론 파서가 소비해요 — Ling-2.6의 템플릿은 이 값을 무시해요. 가장 간단한 구성은 --reasoning-parser qwen3를 빼고 시스템 메시지로 추론을 토글하는 것이에요.

더 많은 API 예시는 SGLang 기본 사용법 가이드를 참고하세요.

5. 벤치마크

GSM8K (Ling-2.6-1T, GB300 × 4)

--tp 4로 단일 GB300 노드에서 실행한 기준 결과:

python3 benchmark/gsm8k/bench_sglang.py

Accuracy: 0.9621 (1269 / 1319)

Ling-2.6-flash의 공식 수치는 모델 카드를 참고하세요 (BFCL-V4, TAU2-bench, SWE-bench Verified, Claw-Eval, PinchBench, Artificial Analysis).