QAnything 시작하기 — 설치와 실행

QAnything 시작하기 — 설치와 실행

QAnything은 Docker Compose로 몇 단계만에 로컬 지식 베이스 Q&A 시스템을 띄울 수 있어요. 시작하기 전에 GitHub 저장소를 가져오고, 기본 모델을 로컬에 준비해요.

사전 요구사항

• Docker, Docker Compose (버전 1.27.4 이상)
• NVIDIA GPU 환경 (선택)

설치

git clone https://github.com/netease-youdao/QAnything.git
cd QAnything

모델은 자동 다운로드가 실패하면 수동으로 받을 수 있어요.

• 모델스코프: https://modelscope.cn/models/netease-youdao/QAnything
• 위즈모델: https://wisemodel.cn/models/Netease_Youdao/qanything
• 허깅페이스: https://huggingface.co/netease-youdao/QAnything

실행

bash run.sh   # 기본으로 GPU 0에서 시작

GPU를 지정해서 시작하려면:

bash ./run.sh -c local -i 0 -b vllm -m Qwen-7B-QAnything -t qwen-7b-qanything -p 1 -r 0.85

-b vllm로 vllm 백엔드를 지정하면 bf16 추론이 기본이에요.

LLM 인터페이스

bash ./run.sh -h로 상세 사용법을 확인할 수 있어요. API가 필요하면 QAnything의 API 문서를 참고해요.

오프라인 사용

QAnything은 네트워크 케이블을 뽑아도 동작할 수 있게 설계되어, 데이터 보안이 중요한 환경에 적합해요.

더 알아보기 (Learn more)

• QAnything 소개
• QAnything 시작하기

출처: QAnything 공식 저장소