Docker 설치 — 바로 띄워 보기
Docker 설치 — 바로 띄워 보기
Tabby를 가장 쉽게 시작하는 방법은 Docker 이미지를 띄우는 거예요. 모델과 설정만 지정하면 코드 완성 서버가 바로 뜨죠.
출처: https://tabby.tabbyml.com/docs/quick-start/installation/docker/
Tabby는 Docker를 비롯해 Homebrew, Hugging Face Space 등 다양한 방식으로 배포할 수 있어요. Docker를 쓰면 환경에 상관없이 같은 컨테이너로 서버를 띄울 수 있다는 게 최대 장점이에요.
설치는 크게 세 가지를 지정하는 흐름이에요. 첫째, 코드 완성에 쓸 모델, 둘째, 실행할 GPU/하드웨어, 셋째, 서버가 바라볼 포트·스토리지죠. GPU가 있다면 CUDA 지원 이미지로 가속하고, CPU만 있어도 작은 모델로 동작해요.
docker run -it --gpus all -p 8080:8080 -v $HOME/.tabby:/data tabbyml/tabby serve --model StarCoder-1B --device cuda
이렇게 뜨면 로컬의 8080 포트에서 Tabby 서버가 대기해요. IDE 확장을 연결해서 바로 코드 완성을 써볼 수 있죠. 모델을 내려받는 시간이 첫 실행에 걸릴 수 있는데, 한 번 받아 두면 다음에는 바로 재사용돼요.