지원 기능

지원 기능 (Supported Features)

이 섹션은 Ascend NPU가 지원하는 기본 기능과 특징을 설명해요. 문제가 발생하거나 질문이 있으면 이슈를 열어 주세요.

출처: 문서

본문

각 파라미터의 의미와 사용법을 알고 싶다면 Server Arguments 를 클릭하세요.

모델과 토크나이저 (Model and tokenizer)

인자 기본값 옵션 서버 지원
--model-path --model None Type: str A2, A3
--tokenizer-path None Type: str A2, A3
--tokenizer-mode auto auto, slow A2, A3
--tokenizer-backend huggingface huggingface, fastokens A2, A3
--tokenizer-worker-num 1 Type: int A2, A3
--detokenizer-worker-num 1 Type: int A2, A3
--skip-tokenizer-init False bool flag (set to enable) A2, A3
--load-format auto auto, safetensors, gguf A2, A3
--model-loader-extra-config {} Type: str A2, A3
--trust-remote-code False bool flag (set to enable) A2, A3
--context-length None Type: int A2, A3
--is-embedding False bool flag (set to enable) A2, A3
--enable-multimodal None bool flag (set to enable) A2, A3
--revision None Type: str A2, A3
--model-impl auto auto, sglang, transformers A2, A3
--model-config-parser auto Type: str A2, A3

HTTP 서버 (HTTP server)

인자 기본값 옵션 서버 지원
--host 127.0.0.1 Type: str A2, A3
--port 30000 Type: int A2, A3
--skip-server-warmup False bool flag (set to enable) A2, A3
--warmups None Type: str A2, A3
--nccl-port None Type: int A2, A3
--fastapi-root-path None Type: str A2, A3
--grpc-mode False bool flag (set to enable) Planned

SSL/TLS

인자 기본값 옵션 서버 지원
--ssl-keyfile None Type: str A2, A3
--ssl-certfile None Type: str A2, A3
--ssl-keyfile-password None Type: str A2, A3
--enable-ssl-refresh False bool flag (set to enable) A2, A3
--enable-http2 False bool flag (set to enable) A2, A3

양자화와 데이터 타입 (Quantization and data type)

인자 기본값 옵션 서버 지원
--dtype auto auto, float16, bfloat16 A2, A3
--quantization None modelslim A2, A3
--quantization-param-path None Type: str GPU 전용
--kv-cache-dtype auto auto A2, A3
--enable-fp32-lm-head False bool flag (set to enable) A2, A3
--modelopt-quant None Type: str GPU 전용
--modelopt-checkpoint-restore-path None Type: str GPU 전용
--modelopt-checkpoint-save-path None Type: str GPU 전용
--modelopt-export-path None Type: str GPU 전용
--quantize-and-serve False bool flag (set to enable) GPU 전용
--rl-quant-profile None Type: str GPU 전용

메모리와 스케줄링 (Memory and scheduling)

인자 기본값 옵션 서버 지원
--mem-fraction-static None Type: float A2, A3
--max-running-requests None Type: int A2, A3
--prefill-max-requests None Type: int A2, A3
--max-queued-requests None Type: int A2, A3
--max-total-tokens None Type: int A2, A3
--chunked-prefill-size None Type: int A2, A3
--max-prefill-tokens 16384 Type: int A2, A3
--schedule-policy fcfs lpm, fcfs, random A2, A3
--enable-priority-scheduling False bool flag (set to enable) A2, A3
--disable-priority-preemption False bool flag (set to enable) A2, A3
--default-priority-value None Type: int A2, A3
--schedule-low-priority-values-first False bool flag (set to enable) A2, A3
--priority-scheduling-preemption-threshold 10 Type: int A2, A3
--schedule-conservativeness 1.0 Type: float A2, A3
--page-size 128 Type: int A2, A3
--swa-full-tokens-ratio 0.8 Type: float Planned
--disable-hybrid-swa-memory False bool flag (set to enable) Planned
--radix-eviction-policy lru lru, lfu A2, A3
--enable-prefill-delayer False bool flag (set to enable) A2, A3
--prefill-delayer-max-delay-passes 30 Type: int A2, A3
--prefill-delayer-token-usage-low-watermark None Type: float A2, A3
--prefill-delayer-forward-passes-buckets None List[float] A2, A3
--prefill-delayer-wait-seconds-buckets None List[float] A2, A3
--prefill-delayer-queue-min-ratio None Type: float A2, A3
--prefill-delayer-max-delay-ms None Type: float A2, A3
--abort-on-priority-when-disabled False bool flag (set to enable) A2, A3
--enable-dynamic-chunking False bool flag (set to enable) Experimental

런타임 옵션 (Runtime options)

인자 기본값 옵션 서버 지원
--device None Type: str A2, A3
--tensor-parallel-size --tp-size 1 Type: int A2, A3
--pipeline-parallel-size --pp-size 1 Type: int; 현재 2는 미지원; TP와 함께 사용 불가 A2, A3
--attention-context-parallel-size --attn-cp-size 1 Type: int; --tp-size와 같아야 함 A2, A3
--moe-data-parallel-size --moe-dp-size 1 Type: int Planned
--pp-max-micro-batch-size None Type: int Experimental
--pp-async-batch-depth None Type: int Experimental
--stream-interval 1 Type: int A2, A3
--batch-notify-size 16 Type: int A2, A3
--incremental-streaming-output False bool flag (set to enable) A2, A3
--stream-response-default-include-usage False bool flag (set to enable) A2, A3
--enable-streaming-session False bool flag (set to enable) A2, A3
--random-seed None Type: int A2, A3
--constrained-json-whitespace-pattern None Type: str A2, A3
--constrained-json-disable-any-whitespace False bool flag (set to enable) A2, A3
--watchdog-timeout 300 Type: float A2, A3
--soft-watchdog-timeout 300 Type: float A2, A3
--dist-timeout None Type: int A2, A3
--download-dir None Type: str A2, A3
--model-checksum None Type: str Planned
--base-gpu-id 0 Type: int A2, A3
--gpu-id-step 1 Type: int A2, A3
--sleep-on-idle False bool flag (set to enable) A2, A3
--load-snapshot-publish-interval 15 Type: int A2, A3
--use-ray False bool flag (set to enable) GPU 전용
--custom-sigquit-handler None Only for engine A2, A3

로깅 (Logging)

인자 기본값 옵션 서버 지원
--log-level info Type: str A2, A3
--log-level-http None Type: str A2, A3
--log-requests False bool flag (set to enable) A2, A3
--log-requests-level 2 0, 1, 2, 3 A2, A3
--log-requests-format text text, json A2, A3
--crash-dump-folder None Type: str A2, A3
--enable-metrics False bool flag (set to enable) A2, A3
--enable-mfu-metrics False bool flag (set to enable) A2, A3
--enable-metrics-for-all-schedulers False bool flag (set to enable) A2, A3
--tokenizer-metrics-custom-labels-header x-custom-labels Type: str A2, A3
--tokenizer-metrics-allowed-custom-labels None List[str] A2, A3
--extra-metric-labels None Type: JSON/Dict A2, A3
--bucket-time-to-first-token None List[float] A2, A3
--bucket-inter-token-latency None List[float] A2, A3
--bucket-e2e-request-latency None List[float] A2, A3
--collect-tokens-histogram False bool flag (set to enable) A2, A3
--prompt-tokens-buckets None List[str] A2, A3
--generation-tokens-buckets None List[str] A2, A3
--gc-warning-threshold-secs 0.0 Type: float A2, A3
--decode-log-interval 40 Type: int A2, A3
--enable-request-time-stats-logging False bool flag (set to enable) A2, A3
--kv-events-config None Type: str GPU 전용
--enable-forward-pass-metrics False bool flag (set to enable) A2, A3
--forward-pass-metrics-worker-id "" Type: str A2, A3
--forward-pass-metrics-ipc-name None Type: str A2, A3
--enable-trace False bool flag (set to enable) A2, A3
--trace-modules request Type: str A2, A3
--otlp-traces-endpoint localhost:4317 Type: str A2, A3
--log-requests-target None Type: str A2, A3
--uvicorn-access-log-exclude-prefixes [] List[str] A2, A3

RequestMetricsExporter 구성 (RequestMetricsExporter configuration)

인자 기본값 옵션 서버 지원
--export-metrics-to-file False bool flag (set to enable) A2, A3
--export-metrics-to-file-dir None Type: str A2, A3

API 관련

인자 기본값 옵션 서버 지원
--api-key None Type: str A2, A3
--admin-api-key None Type: str A2, A3
--served-model-name None Type: str A2, A3
--weight-version default Type: str A2, A3
--chat-template None Type: str A2, A3
--hf-chat-template-name None Type: str A2, A3
--completion-template None Type: str A2, A3
--file-storage-path sglang_storage Type: str 사용되지 않는 예약 파라미터
--enable-cache-report False bool flag (set to enable) A2, A3
--reasoning-parser None deepseek-r1 deepseek-v3 glm45 gpt-oss kimi qwen3 qwen3-thinking step3 A2, A3
--strip-thinking-cache False bool flag (set to enable) A2, A3
--enable-strict-thinking False bool flag (set to enable) A2, A3
--tool-call-parser None llama3 pythonic qwen qwen3_coder A2, A3
--sampling-defaults model openai, model A2, A3
--asr-max-buffer-seconds 60 Type: int A2, A3
--asr-max-concurrent-sessions 32 Type: int A2, A3

데이터 병렬 처리 (Data parallelism)

인자 기본값 옵션 서버 지원
--data-parallel-size --dp-size 1 Type: int A2, A3
--load-balance-method auto auto, round_robin, follow_bootstrap_room, total_requests, total_tokens A2, A3

다중 노드 분산 서빙 (Multi-node distributed serving)

인자 기본값 옵션 서버 지원
--encoder-urls [] List[str] (encoder 서버 URL 목록) A2, A3
--encoder-bootstrap-port 8997 Type: int A2, A3
--encoder-register-urls [] List[str] A2, A3

커스텀 가중치 로더 (Custom weight loader)

인자 기본값 옵션 서버 지원
--custom-weight-loader None List[str] A2, A3
--weight-loader-disable-mmap False bool flag (set to enable) A2, A3
--weight-loader-prefetch-checkpoints False bool flag (set to enable) A2, A3
--weight-loader-prefetch-num-threads 4 Type: int A2, A3
--remote-instance-weight-loader-seed-instance-ip None Type: str GPU 전용
--remote-instance-weight-loader-seed-instance-service-port None Type: int GPU 전용
--remote-instance-weight-loader-send-weights-group-ports None Type: JSON list GPU 전용
--remote-instance-weight-loader-backend nccl transfer_engine, nccl GPU 전용
--weight-loader-drop-cache-after-load False bool flag (set to enable) A2, A3
--remote-instance-weight-loader-start-seed-via-transfer-engine False bool flag (set to enable) GPU 전용

PD-multiplexing용 (For PD-multiplexing)

인자 기본값 옵션 서버 지원
--enable-pdmux False bool flag (set to enable) GPU 전용
--pdmux-config-path None Type: str GPU 전용
--sm-group-num 8 Type: int GPU 전용

멀티모달용

인자 기본값 옵션 서버 지원
--enable-broadcast-mm-inputs-process False bool flag (set to enable) A2, A3
--mm-process-config None Type: JSON / Dict A2, A3
--mm-enable-dp-encoder False bool flag (set to enable) A2, A3
--limit-mm-data-per-request None Type: JSON / Dict A2, A3

체크포인트 복호화용 (For checkpoint decryption)

인자 기본값 옵션 서버 지원
--decrypted-config-file None Type: str A2, A3
--decrypted-draft-config-file None Type: str A2, A3
--enable-prefix-mm-cache False bool flag (set to enable) A2, A3

Forward hooks

인자 기본값 옵션 서버 지원
--forward-hooks None Type: JSON list A2, A3
--enable-quant-communications False bool flag (set to enable) (양자화 모델과 함께 DeepEP를 사용할 때는 --deepep-dispatcher-output-dtype을 설정해야 함) A2, A3

msProbe

인자 기본값 옵션 서버 지원
--msprobe-dump-config None Type: str A2, A3

구성 파일 지원 (Configuration file support)

인자 기본값 옵션 서버 지원
--config None Type: str A2, A3

기타 파라미터 (Other params)

다음 파라미터는 필요한 타사 구성 요소(예: Ktransformer, checkpoint-engine)가 NPU와 호환되지 않아 지원되지 않아요.

인자 기본값 옵션
--checkpoint-engine-wait-weights-before-ready False bool flag (set to enable)
--kt-weight-path None Type: str
--kt-method AMXINT4 Type: str
--kt-cpuinfer None Type: int
--kt-threadpool-count 2 Type: int
--kt-num-gpu-experts None Type: int
--kt-max-deferred-experts-per-token None Type: int

다음 파라미터는 상류 커뮤니티 코드베이스에 알려진 기능 결함이 있어요.

인자 기본값 옵션
--tool-server None Type: str

더 알아보기 (Learn more)