LocalDocs로 로컬 문서를 RAG로 활용하기

LocalDocs로 로컬 문서를 RAG로 활용하기

LocalDocs는 내 기기에 있는 파일의 정보를 LLM 채팅 안으로 가져와 주는 기능이에요. 핵심은 비공개라는 점 — 파일이 내 기기를 떠나지 않고, 문서를 벡터로 색인해 프롬프트에 관련 조각만 넣어 주는 방식이죠. 즉 로컬에서 돌아가는 경량 RAG(검색 증강 생성)라고 볼 수 있어요.

출처: GPT4All LocalDocs - 공식 문서

LocalDocs 만들기

  1. + Add Collection을 클릭합니다.
  2. 컬렉션 이름을 정하고 폴더와 연결합니다.
  3. Create Collection을 클릭합니다. 진행 상황은 LocalDocs 페이지에 표시돼요.
  4. 컬렉션이 모두 준비되면 초록색 Ready 표시가 나타나요. 전부 준비되기 전에도 이미 준비된 파일과는 채팅할 수 있어요.
  5. 채팅 화면 오른쪽 위의 LocalDocs 버튼으로 해당 파일들을 컨텍스트로 사용할 수 있어요.
  6. LLM 응답 아래의 Sources를 보면 어떤 파일이 참조됐는지 확인할 수 있어요.

나중에 LocalDocs 설정을 바꾸면 새 설정으로 컬렉션을 다시 만들 수 있어요.

작동 원리

LocalDocs 컬렉션은 Nomic AI의 무료·빠른 온디바이스 임베딩 모델을 써서 폴더를 텍스트 조각으로 색인하고, 각 조각마다 임베딩 벡터를 만들어요. 이 벡터로 채팅에서 입력한 질문·프롬프트와 의미상 비슷한 조각을 찾은 뒤, 그 조각들을 LLM 프롬프트에 함께 넣어 주는 구조예요.

임베딩 모델을 직접 써 보고 싶다면 Nomic Python SDK를 추천해요.

더 알아보기