InstantTensor로 모델 가중치 로드하기
InstantTensor로 모델 가중치 로드하기
InstantTensor은 CUDA 디바이스에서 Safetensors 가중치 로딩을 분산 로딩(distributed loading), 파이프라인 프리페칭(pipelined prefetching), 직접 I/O(direct I/O)로 가속화해요. 사용 가능할 때 GDS(GPUDirect Storage)도 지원합니다. 더 자세한 내용은 InstantTensor GitHub 저장소를 참고하세요.
설치 (Installation)
pip install instanttensor
vLLM에서 InstantTensor 사용하기
명령줄 인자로 --load-format instanttensor를 추가하세요.
예를 들어:
vllm serve Qwen/Qwen2.5-0.5B --load-format instanttensor
벤치마크 (Benchmarks)
| Model | GPU | Backend | Load Time (s) | Throughput (GB/s) | Speedup |
|---|---|---|---|---|---|
| Qwen3-30B-A3B | 1*H200 | Safetensors | 57.4 | 1.1 | 1x |
| Qwen3-30B-A3B | 1*H200 | InstantTensor | 1.77 | 35 | 32.4x |
| DeepSeek-R1 | 8*H200 | Safetensors | 160 | 4.3 | 1x |
| DeepSeek-R1 | 8*H200 | InstantTensor | 15.3 | 45 | 10.5x |
벤치마크에서 알 수 있듯이, 단일 H200에서 Qwen3-30B-A3B를 로드할 때 57.4초에서 1.77초로 약 32배, DeepSeek-R1은 160초에서 15.3초로 약 10.5배 빨라져요. 큰 모델일수록 로딩 병목이 컸기 때문에 속도 향상이 두드러지죠.
전체 벤치마크 결과는 https://github.com/scitix/InstantTensor/blob/main/docs/benchmark.md에서 볼 수 있어요.