Candle 주요 기능 — 모델 지원·GPU·양자화·WASM
Candle 주요 기능
Candle의 진짜 가치는 단순한 텐서 라이브러리를 넘어 실무 모델을 Rust로 돌리는 예제 생태계에 있어요. 공식 문서는 어떤 모델을 어떻게 실행하는지 폭넓게 보여줘요.
지원하는 모델 예시
- LLM: LLaMA v1/v2/v3, Falcon, Gemma v1/v2, Phi-1/1.5/2/3, Mistral 7B, Mixtral 8x7B, Qwen1.5, RWKV, Yi, StarCoder, Codegeex, StableLM
- 비전: YOLO v3/v8, Segment Anything, SegFormer, DINOv2, VGG/RepVGG, CLIP, Moondream
- 음성/기타: Whisper, EnCodec, Parler-TTS, MetaVoice, BLIP, TrOCR, Marian-MT, T5/Bert 임베딩
실행과 양자화
- 명령줄 예제는
cargo run --example <이름> --release로 실행해요. - CUDA는
--features cuda, cuDNN은--features cudnn플래그로 더 빠르게 돌려요. - 양자화: llama.cpp와 같은 기법으로 양자화한 LLaMA, GGUF 양자화 Qwen3 MoE를 지원해서 메모리를 크게 줄일 수 있어요.
- WASM: whisper·llama2.c·T5 같은 예제는 브라우저에서 바로 실행할 수 있게 빌드돼요.
cpu든 gpu든, 서버든 브라우저든, 같은 Rust 코드로 다양한 환경에 모델을 올릴 수 있다는 게 Candle의 핵심 강점이에요.