ModelScope에서 모델 사용하기

ModelScope에서 모델 사용하기 (Use Models From ModelScope)

이 페이지는 ModelScope에서 모델을 내려받아 SGLang으로 실행하는 방법을 설명해요. ModelScope는 중국 기반의 모델 허브로, HuggingFace와 별도의 캐시 디렉터리를 사용한다는 점이 특징이에요. 환경 변수 하나만 설정하면 커맨드나 Docker로 바로 서버를 띄울 수 있어요.

출처: 문서

본문

ModelScope에서 모델을 사용하려면 환경 변수 SGLANG_USE_MODELSCOPE를 설정해요.

export SGLANG_USE_MODELSCOPE=true

예시로 Qwen2-7B-Instruct를 사용해 볼게요.

서버 실행:

python -m sglang.launch_server --model-path qwen/Qwen2-7B-Instruct --port 30000

또는 Docker로 시작할 수 있어요:

docker run --gpus all \
    -p 30000:30000 \
    -v ~/.cache/modelscope:/root/.cache/modelscope \
    --env "SGLANG_USE_MODELSCOPE=true" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model-path Qwen/Qwen2.5-7B-Instruct --host 0.0.0.0 --port 30000

참고로 modelscope는 huggingface와 다른 캐시 디렉터리를 사용해요. 디스크 공간이 부족해지지 않도록 수동으로 설정해야 할 수 있어요.

더 알아보기