환경 변수

환경 변수 (Environment Variables)

SGLang은 Ascend NPU와 관련된 다양한 환경 변수를 지원해요. 이 변수들로 런타임 동작을 구성할 수 있어요. 이 문서는 자주 사용되는 환경 변수 목록을 제공하며, 시간이 지남에 따라 갱신되도록 관리되고 있어요.

출처: 문서

본문

SGLang에서 직접 사용 (Directly Used in SGLang)

환경 변수	설명	기본값
`SGLANG_NPU_USE_MLAPO`	MLA 모델의 어텐션 전처리 단계에서 `MLAPO` 융합 연산자를 사용해요.	`false`
`SGLANG_USE_FIA_NZ`	KV Cache를 FIA NZ 형식으로 리셰이프해요. `SGLANG_NPU_USE_MLAPO`와 함께 활성화해야 해요.	`false`
`SGLANG_NPU_USE_MULTI_STREAM`	DeepSeek 모델에서 공유 전문가와 라우팅 전문가의 이중 스트림 계산을 활성화해요. DeepSeek DSA Indexer에서 이중 스트림 계산을 활성화해요.	`false`
`SGLANG_NPU_DISABLE_ACL_FORMAT_WEIGHT`	모델 가중치 텐서를 특정 NPU ACL 형식으로 캐스팅하지 않도록 해요.	`false`
`SGLANG_DEEPEP_NUM_MAX_DISPATCH_TOKENS_PER_RANK`	각 랭크에서 디스패치되는 최대 토큰 수예요.	`128`

DeepEP Ascend에서 사용 (Used in DeepEP Ascend)

환경 변수	설명	기본값
`DEEPEP_NORMAL_LONG_SEQ_PER_ROUND_TOKENS`	디스패치 단계에서 긴 시퀀스 토큰 파이프라이닝을 활성화해요. 각 랭크에서 라운드당 전송되는 토큰 수를 나타내요.	`8192`
`DEEPEP_NORMAL_LONG_SEQ_ROUND`	디스패치 단계에서 긴 시퀀스 토큰 파이프라이닝을 활성화해요. 각 랭크에서 전송되는 라운드 수를 나타내요.	`1`
`DEEPEP_NORMAL_COMBINE_ENABLE_LONG_SEQ`	컴바인 단계에서 긴 시퀀스 토큰 파이프라이닝을 활성화해요. `0` 값은 비활성화를 의미해요.	`0`
`MOE_ENABLE_TOPK_NEG_ONE`	DEEPEP가 처리할 전문가 ID에 -1이 포함될 때 활성화해야 해요.	`0`
`DEEP_NORMAL_MODE_USE_INT8_QUANT`	더 이상 사용되지 않음 — 향후 릴리스에서 제거될 예정이에요. `1`로 설정하면 normal 모드에서 DeepEP 디스패치 연산자가 중간 활성화를 INT8로 양자화해서 W8A8로 양자화된 MoE 모델의 통신량을 줄여요. 이 변수는 no-op이 될 것이고, 양자화 동작은 자동으로 추론될 거예요.	`0`
`DEEPEP_HCCL_BUFFSIZE`	DeepEP MoE All-to-All 통신에 사용되는 프로세스 그룹(기본 그룹 및 `moe` 이름의 그룹)의 HCCL 버퍼 크기(MB)를 구성해요. 비MoE 그룹과 독립적으로 MoE 통신 버퍼를 튜닝할 수 있어요. 설정하지 않으면 `HCCL_BUFFSIZE`로, 그 다음에는 `200`으로 폴백해요. 더 큰 버퍼는 HBM 사용량을 늘리는 대신 All-to-All 지연을 줄여요.	`200`

기타 (Others)

환경 변수	설명	기본값
`TASK_QUEUE_ENABLE`	task_queue 연산자의 디스패치 큐 최적화 수준을 제어해요. 상세	`1`
`INF_NAN_MODE_ENABLE`	칩이 포화 모드(saturation)를 사용할지 INF_NAN 모드를 사용할지 제어해요. 상세	`1`
`STREAMS_PER_DEVICE`	스트림 풀의 최대 스트림 수를 구성해요. 상세	`32`
`PYTORCH_NPU_ALLOC_CONF`	캐시 할당기의 동작을 제어해요. 이 변수는 메모리 사용량을 바꾸고 성능 변동을 일으킬 수 있어요. 상세
`ASCEND_MF_STORE_URL`	PD 분리 동안 MemFabric의 config store 주소예요. 일반적으로 P 프라이머리 노드의 IP 주소와 임의의 포트 번호로 설정해요.
`ASCEND_LAUNCH_BLOCKING`	연산자 실행 중 동기 모드를 활성화할지 제어해요. 상세	`0`
`HCCL_OP_EXPANSION_MODE`	통신 알고리즘 스케줄링의 확장 위치를 구성해요. 상세
`HCCL_BUFFSIZE`	두 NPU 사이 공유 데이터 버퍼 영역의 크기를 제어해요. 단위는 MB이고 값은 1 이상이어야 해요. 상세	`200`
`HCCL_SOCKET_IFNAME`	HCCL 초기화 동안 호스트가 사용하는 네트워크 카드의 이름을 구성해요. 상세
`GLOO_SOCKET_IFNAME`	GLOO 통신을 위한 네트워크 인터페이스 이름을 구성해요.

더 알아보기 (Learn more)