OpenLLMetry로 LLM 애플리케이션 관찰하기
OpenLLMetry로 LLM 애플리케이션 관찰하기 (observability-openllmetry)
LLM 애플리케이션을 운영하다 보면 "내 qdrant_client 호출이 실제로 어떻게 동작하는지 한눈에 보고 싶다"는 니즈가 생기기 마련이에요. OpenLLMetry를 쓰면 이 추적(tracing)이 바로 해결됩니다. Qdrant의 벡터 검색 호출을 포함해 전체 LLM 애플리케이션의 관찰성을 확보해 볼게요.
출처: Qdrant 공식문서
OpenLLMetry는 Traceloop이 만든, OpenTelemetry 위에 구축된 확장 모음입니다. LLM 애플리케이션에 대한 완전한 관찰성(observability)을 제공해요.
OpenLLMetry는 qdrant_client Python 라이브러리의 계측(instrumentation)을 지원하고, 그들이 소개하는 Integrations 카탈로그에 설명된 다양한 관찰성 플랫폼으로 트레이스를 내보낼 수 있습니다.
이 페이지는 qdrant-client 버전 1.7.3 이상을 사용 중이라고 가정해요.
사용 방법
OpenLLMetry를 설정하려면 다음 단계를 따르세요.
SDK 설치:
pip install traceloop-sdk
SDK 초기화:
from traceloop.sdk import Traceloop
Traceloop.init()
이제 OpenLLMetry로 qdrant_client 사용이 추적됩니다!
SDK 없이 사용하기
Traceloop은 표준 OpenTelemetry 계측을 제공하므로, 독립형 패키지로도 사용할 수 있어요. 이렇게 하려면:
패키지 설치:
pip install opentelemetry-instrumentation-qdrant
QdrantInstrumentor 초기화:
from opentelemetry.instrumentation.qdrant import QdrantInstrumentor
QdrantInstrumentor().instrument()
더 알아보기 (Learn more)
📄 소스 코드