OpenLIT

OpenLIT (observability-openlit)

LLM 애플리케이션을 운영하다 보면 Qdrant가 어떻게 동작하는지, 어디를 개선하면 좋을지 시각적으로 파악하고 싶을 때가 있어요. OpenLIT은 이걸 도와주는 도구인데, Qdrant와 함께 어떻게 쓰는지 살펴볼게요.

출처: Qdrant 공식문서

OpenLIT은 OpenTelemetry 기반의 LLM 애플리케이션 관측성(observability) 도구예요. OpenTelemetry 자동 계측(auto-instrumentation)을 포함해 Qdrant를 모니터링하고, 데이터베이스 운영과 애플리케이션 성능을 개선하는 데 도움이 되는 인사이트를 제공해요.

이 페이지는 qdrant-client 버전 1.7.3 이상을 사용하고 있다고 가정해요.

사용법 (Usage)

1단계: OpenLIT 설치

명령줄 또는 터미널을 열고 실행해요.

 pip install openlit

2단계: 애플리케이션에서 OpenLIT 초기화

LLM 애플리케이션에 OpenLIT을 통합하는 건 코드 두 줄로 끝나요.

 import openlit openlit . init ()

OpenLIT은 기본적으로 트레이스를 콘솔로 보내요. 원격 HTTP OTLP 엔드포인트로 텔레메트리 데이터를 전달하려면 otlp_endpoint 파라미터나 OTEL_EXPORTER_OTLP_ENDPOINT 환경 변수를 설정하세요.

인증이 필요한 OpenTelemetry 백엔드를 쓴다면, 필요 값과 함께 otlp_headers 파라미터 또는 OTEL_EXPORTER_OTLP_HEADERS 환경 변수를 사용하세요.

더 읽어보기 (Further Reading)

OpenLIT이 LLM 관측성 데이터를 수집하기 시작했다면, 다음 단계는 이 데이터를 시각화하고 분석해서 Qdrant의 성능과 동작에 대한 인사이트를 얻고 개선할 부분을 찾는 거예요.

OpenLIT UI에서 LLM 애플리케이션의 성능 데이터를 탐색해 보려면 Quickstart Guide를 확인하세요.

생성된 메트릭과 트레이스를 Prometheus+Jaeger, Grafana 같은 기존 관측성 도구에 통합해서 보내고 싶다면, 자세한 안내는 OpenLIT Connections 공식 문서를 참고하세요.