관측성 통합

관측성 통합 (Observability Integrations)

관측성(observability)은 모델 호출이 프롬프트, 도구, 검색 단계, 애플리케이션 워크플로우 전반에서 어떻게 동작하는지 이해하는 데 도움을 줘요. 이 페이지에서 무엇을 모니터링할지 고르고, Mistral 애플리케이션용 서드파티 통합을 어디서 찾을지 확인해요.

출처: 문서

본문

무엇을 모니터링할까 (What to monitor)

대규모 언어 모델(LLM) 애플리케이션은 에이전트, 검색 시스템, 도구에 걸쳐 단일 모델 호출이거나 수많은 호출일 수 있어요. 사용자에게 보이는 동작을 디버깅하고 시간에 따른 변화를 비교할 충분한 컨텍스트를 수집하는 것부터 시작해요.

먼저 다음 영역을 추적하세요:

  • 입력(Inputs): 프롬프트 템플릿, 사용자 메시지, 검색된 컨텍스트, 도구 입력, 요청에서 사용한 메모리.
  • 모델 구성(Model configuration): 모델 식별자, 샘플링 파라미터, 도구 구성, 애플리케이션별 옵션.
  • 출력(Outputs): 생성된 텍스트, 도구 호출, 구조화된 출력, 인용(citations), 포맷 결정.
  • 런타임 시그널(Runtime signals): 지연 시간, 토큰 사용량, 비용, 오류, 재시도, 상태 코드.
  • 품질 시그널(Quality signals): 평가, 인간 피드백, 주석(annotations), 회귀 데이터셋.

추적할 워크플로우 패턴 (Workflow patterns to trace)

최종 답변을 바꿀 수 있는 각 단계를 추적하세요. 검색 증강 생성(RAG)에서는 문서 검색, 랭킹, 컨텍스트 구성, 생성을 추적해요. 에이전트 워크플로우에서는 각 모델 호출, 도구 호출, 핸드오프, 재시도, 최종 응답을 추적해요.

이런 트레이스는 운영상의 질문에 답하는 데 도움을 줘요:

  • 어떤 프롬프트, 모델, 도구 버전이 응답을 만들었을까?
  • 어떤 검색된 문서가 답변에 영향을 주었을까?
  • 지연 시간이나 비용은 어디서 증가했을까?
  • 어떤 단계가 오류나 예상 밖의 출력을 반환했을까?
  • 어떤 예시가 평가 데이터가 되어야 할까?

통합 옵션 (Integration options)

Mistral은 SDK 통합, OpenTelemetry, 쿡북 예시를 통해 여러 관측성 도구와 연동돼요. 여러분의 스택과 운영 필요에 맞는 도구를 고르세요.

쿡북 예시 (Cookbook examples)

제품별 설정 페이지 대신 구현 예시를 원한다면 Mistral 쿡북을 사용하세요:

다음 단계 (Next steps)

관측성 도구를 고른 뒤에는 애플리케이션에 중요한 이벤트를 정의하세요. 모델 입력, 모델 출력, 도구 호출, 지연 시간, 토큰 사용량, 오류부터 시작하는 걸 권장해요. 기본 트레이스가 안정되면 평가 데이터셋과 사용자 피드백을 추가하세요.

더 알아보기 (Learn more)