OpenTelemetry로 Mistral AI 모니터링하기

OpenTelemetry로 Mistral AI 모니터링하기

OpenLIT을 Mistral SDK와 통합하는 과정을 다루는 쿡북이에요. 코드 한 줄만 추가하면 OpenTelemetry 기반으로 Mistral SDK의 비용·토큰·프롬프트·응답·모든 채팅/완성 활동을 추적할 수 있습니다.

OpenLIT은 생성형 AI와 LLM 작업을 간소화해 주는 오픈소스 AI 엔지니어링 도구예요. LLM 실험, 프롬프트 구성·버전 관리, API 키의 안전한 처리를 한결 편리하게 만들어 주죠. 코드 한 줄로 OpenTelemetry 네이티브 관찰 기능을 켜서 LLM·벡터 DB·GPU까지 포함한 풀스택 모니터링을 할 수 있어요. 덕분에 테스트에서 프로덕션으로 자연스럽게 전환하며 AI 기능을 안심하고 만들 수 있습니다.

이 프로젝트는 OpenTelemetry 커뮤니티의 Semantic Conventions를 따르고 유지하며, 관찰 표준의 최신 사항을 꾸준히 반영합니다.

출처: 문서

본문

필요한 패키지를 설치하고 Mistral API 키를 환경 변수로 설정합니다. Mistral 계정이 없다면 가입 후 무료 체험 또는 결제 플랜에 가입해 API 키를 생성하면 돼요.

%pip install mistralai openlit langchain_community

import os

# Your Mistral key
os.environ["MISTRAL_API_KEY"] = "YOUR_MISTRAL_AI_API_KEY"

채팅 완성 (Chat Completions)

# Synchronous Example
from mistralai.client import Mistral
import os

client = Mistral(
    api_key=os.getenv("MISTRAL_API_KEY", ""),
)

import openlit
openlit.init(disable_metrics=True)

OpenLIT이 애플리케이션에서 초기화되면 SDK의 모든 Mistral 채팅 함수 사용을 자동 계측(instrument)해요. 이를 통해 LLM 상호작용을 추적하고 입력·출력·모델 파라미터와 비용까지 잡아냅니다.

res = client.chat.complete(model="mistral-small-latest", messages=[
    {
        "content": "Who is the best French painter? Answer in one short sentence.",
        "role": "user",
    },
])

임베딩 (Embeddings)

마찬가지로 OpenLIT이 초기화되면 SDK의 모든 Mistral 임베딩 함수 사용도 자동 계측합니다. 임베딩 입력·출력·모델 파라미터와 비용을 추적할 수 있어요.

res = client.embeddings.create(inputs=[
    "Embed this sentence.",
    "As well as this one.",
], model="mistral-embed")

OpenLIT 스택 배포하기

기본적으로 OpenLIT은 OpenTelemetry 트레이스와 메트릭을 생성해서 콘솔에 기록합니다. 자세한 모니터링 환경을 구축하려면 OpenLIT을 배포하고 모든 트레이스·메트릭을 그쪽으로 보내면 됩니다. Grafana, Jaeger, DataDog 같은 OpenTelemetry 호환 엔드포인트로 보낼 수도 있어요.

OpenLIT 저장소를 클론하고 Docker로 직접 호스팅합니다.

git clone [email protected]:openlit/openlit.git

docker compose up -d

Kubernetes에 Helm으로 설치하는 방법은 Kubernetes Helm 설치 가이드를 참고하세요.

원격 측정(telemetry) 데이터의 목적지를 다음과 같이 설정합니다.

💡 팁: otlp_endpoint 또는 OTEL_EXPORTER_OTLP_ENDPOINT를 제공하지 않으면 OpenLIT SDK가 트레이스를 바로 콘솔로 출력해요. 개발 단계에서 권장되는 방식입니다.

시각화하고 최적화하기 (Visualize and Optimize!)

관찰 데이터가 OpenLIT으로 수집되고 나면 이를 시각화·분석해서 AI 애플리케이션의 성능과 동작을 파악하고 개선할 수 있어요. 브라우저에서 127.0.0.1:3000으로 접속하면 됩니다. 기본 자격 증명으로 로그인할 수 있어요.

• Email: [email protected]
• Password: openlituser

더 알아보기 (Learn more)

• OpenLIT 공식 문서 — 오픈소스 AI 옵저버빌리티 플랫폼
• openlit.init() — OpenTelemetry 원격 측정을 켜는 초기화 API
• OpenTelemetry 컨벤션 — LLM 관찰을 위한 표준 Semantic Conventions