Cheshire Cat

Cheshire Cat (Cheshire Cat)

Cheshire Cat는 여러 LLM(Large Language Model) 위에서 지능형 에이전트를 개발할 수 있게 해주는 오픈소스 프레임워크예요. 광범위한 작업을 돕는 나만의 AI 아키텍처를 만들 수 있죠. 특히 Cheshire Cat은 문서를 ingest하고 검색할 때 기본 벡터 메모리로 Qdrant를 사용해요.

출처: Qdrant 공식 문서 — cheshire-cat

Cheshire Cat과 Qdrant

Cheshire Cat의 설정 파일에서 Qdrant 서버 주소를 지정할 수 있어요. 기본값은 로컬 기준 localhost:1865 포트로 Cat이 돌고, Qdrant는 localhost:6333을 기본으로 잡아요.

# Decide host and port for your Cat. Default will be localhost:1865
CORE_HOST=localhost
CORE_PORT=1865

# Qdrant server
# QDRANT_HOST=localhost
# QDRANT_PORT=6333

Cheshire Cat은 Qdrant의 다음 기능을 특히 잘 활용해요.

  • Collection Aliases — 한 임베더(embedder)에서 다른 임베더로 바꿀 때 컬렉션 참조를 유연하게 관리해요.
  • Quantization — 속도, 메모리 사용량, 검색 품질 사이의 좋은 균형을 얻을 수 있어요.
  • Snapshots — 어떤 정보도 놓치지 않도록 스냅샷을 사용해요.
  • Community — 활발한 커뮤니티도 장점이에요.

Cheshire Cat 사용하기

요구 사항 (Requirements)

Cheshire Cat을 실행하려면 시스템에 Docker와 docker-compose가 설치되어 있어야 해요.

docker run --rm -it -p 1865:80 ghcr.io/cheshire-cat-ai/core:latest
  • localhost:1865/admin에서 Cheshire Cat과 대화할 수 있어요.
  • REST API로도 상호작용할 수 있고, 엔드포인트는 localhost:1865/docs에서 직접 테스트해 볼 수 있어요.

더 자세한 빠른 시작은 GitHub의 지침을 참고해요.

첫 LLM 설정 (First configuration of the LLM)

  • 브라우저에서 localhost:1865/admin으로 Admin Portal을 엽니다.
  • Settings 탭에서 LLM을 설정해요.
  • Settings 탭에서 명시적으로 선택하지 않으면, Embedder는 LLM을 따라가요.

더 알아보기 (Learn more)

Cheshire Cat 문서와 블로그에서 더 자세한 내용을 확인할 수 있어요.