첫 라이브러리와 쿼리 — 빌드부터 검색까지
첫 라이브러리와 쿼리 — 빌드부터 검색까지
llmware를 처음 쓸 때는 자기 완결적인 예제를 따라가는 게 가장 빠르게요. 여기서는 라이브러리를 만들고 파일을 추가해서 파싱·청킹·인덱싱을 한 번에 처리하고, 이후 검색까지 이어지는 흐름을 볼게요.
출처: https://github.com/llmware-ai/llmware/blob/main/docs/examples/getting_started.md
llmware에서 라이브러리를 만들려면 라이브러리 객체를 생성하고 add_files 메서드를 호출하면 돼요. 이 메서드는 파일을 파싱하고 텍스트를 청킹한 뒤 인덱싱까지 처리해요.
먼저 설정부터 건드려 볼게요. llmware는 기본적으로 MongoDB를 텍스트 컬렉션 DB로 쓰고 debug_mode는 0이에요. 여기서는 텍스트 컬렉션 DB를 sqlite로 바꾸고, 파싱되는 파일 이름을 보여주도록 debug_mode를 2로 설정했어요.
from llmware.configs import LLMWareConfig
LLMWareConfig().set_active_db("sqlite")
LLMWareConfig().set_config("debug_mode", 2)
그다음 샘플 파일을 내려받고 라이브러리를 만들어요. Setup().load_sample_files()로 실험에 쓸 수 있는 샘플 파일을 받을 수 있어요.
from llmware.setup import Setup
from llmware.library import Library
# 샘플 파일 준비 후 라이브러리 생성
sample_files_path = Setup().load_sample_files(over_write=False)
lib = Library().create_new_library("my_library")
lib.add_files("/folder/to/sample/files")
파일이 추가되면 파싱 결과가 라이브러리의 텍스트 컬렉션에 쌓여요. 이후 Query 객체를 만들어 이 라이브러리에 대해 텍스트·시맨틱·하이브리드 검색을 돌릴 수 있어요. 이 전체 과정이 하나의 흐름으로 이어지기 때문에, 문서를 지식 베이스로 바꾸는 데 드는 수고가 많이 줄어들어요.