Candle 시작하기 — 설치와 첫 텐서 연산
Candle 시작하기
Candle을 쓰려면 먼저 candle-core를 프로젝트에 추가하고 올바르게 빌드해야 해요. 공식 설치 문서는 CUDA 유무에 따라 나눠서 안내해 줘요.
CUDA 지원으로 설치
GPU를 쓰려면 먼저 CUDA가 설치돼 있는지 확인해요.
nvcc --version # 컴파일러 드라이버 확인
nvidia-smi --query-gpu=compute_cap --format=csv # GPU compute capability 확인
문제가 없으면 새 cargo 프로젝트를 만들고 candle-core를 cuda 피처와 함께 추가해요.
cargo new myapp
cd myapp
cargo add --git https://github.com/huggingface/candle.git candle-core --features "cuda"
cargo build
특정 compute capability로 커널을 컴파일하고 싶다면 CUDA_COMPUTE_CAP=<compute cap> 환경변수를 쓰면 돼요.
CUDA 없이 설치
GPU가 없거나 일단 CPU로 시작한다면 아래처럼 하면 돼요.
cargo new myapp
cd myapp
cargo add --git https://github.com/huggingface/candle.git candle-core
cargo build
CPU 추론을 더 빠르게 하려면 mkl 피처도 고려할 수 있어요(--features mkl). 첫 빌드가 끝나면 이전 페이지의 매트릭스 곱셈 예제처럼 텐서 연산을 바로 실행할 수 있어요.