Spaces에서 ChatUI
Spaces에서 ChatUI
HuggingChat은 Falcon, StarCoder, BLOOM 같은 오픈소스 대형 언어 모델을 누구나 시험해 볼 수 있게 하는 오픈소스 인터페이스예요. ChatUI라는 공식 Docker 템플릿 덕분에 Hugging Face 인프라를 사용해 몇 번의 클릭으로 내가 선택한 모델 기반의 자체 HuggingChat을 배포할 수 있어요.
출처: 문서
본문
나만의 Chat UI 배포하기
시작하려면 여기로 이동하세요. 이 애플리케이션의 백엔드에서는 text-generation-inference를 사용해 더 최적화된 모델 추론을 수행해요. 이 모델들은 CPU에서 실행될 수 없으므로, 선택한 모델에 따라 GPU를 선택할 수 있어요.
채팅이 기록될 MongoDB 엔드포인트를 제공해야 해요. 이 섹션을 비워 두면 로그가 Space 내부의 데이터베이스에 저장됩니다. Hugging Face는 여러분의 채팅에 접근할 수 없다는 점을 참고하세요. 애플리케이션 이름과 색상 파라미터를 제공해 Space의 이름과 테마를 설정할 수 있어요.
아래에서 서빙하고 싶은 모델의 Hugging Face Hub ID를 선택할 수 있어요. 아래 사전(dictionary)에서 JSON 형식으로 생성 하이퍼파라미터도 변경할 수 있어요.
참고: gated 접근 권한이 있거나 비공개 저장소에 있는 모델을 배포하려면, 저장소 시크릿(secrets)에 HF_TOKEN을 제공하면 돼요. 값은 여기에서 얻을 수 있는 액세스 토큰으로 설정해야 해요.
생성이 완료되면 Space에 Building이 표시됩니다. 빌드가 끝나면 나만의 HuggingChat을 사용해 볼 수 있어요!
이제 채팅을 시작해 보세요!