베타 Observability 평가 엔드포인트

베타 Observability 평가 엔드포인트 (Beta Observability Evaluations Endpoints)

(beta) Observability - Evaluations API입니다. 워커 파이프라인(worker pipeline) 설정을 만들고, 조회·갱신·삭제하여 자동 평가/모더레이션/저지 파이프라인을 관리합니다.

출처: 문서

본문

관측성 데이터(스팬 등)에 대해 자동으로 평가하는 워커 파이프라인 설정을 다루는 API예요. detection(검출), moderation(모더레이션), judge(저지), export(내보내기) 종류의 파이프라인을 정의하고, 어떤 데이터를 어떤 조건으로 처리할지 셀렉터로 지정할 수 있답니다.

GET /v1/observability/pipeline-configs — List worker pipeline configurations (파이프라인 설정 목록)

워커 파이프라인 설정 목록을 가져옵니다.

응답 필드 (200 Successful Response):

  • pipeline_configs#PaginatedResultPipelineConfig (필수) — 페이지네이션된 파이프라인 설정.

curl:

curl https://api.mistral.ai/v1/observability/pipeline-configs \
 -X GET \
 -H 'Authorization: Bearer ***'

TypeScript:

import { Mistral } from "@mistralai/mistralai";

const mistral = new Mistral({
  apiKey: proces...EY"] ?? "",
});

async function run() {
  const result = await mistral.beta.observability.evaluations.listPipelineConfigs({});

  console.log(result);
}

run();

응답 예시 (200):

{
  "pipeline_configs": {
    "count": 87
  }
}

POST /v1/observability/pipeline-configs — Create a worker pipeline configuration (파이프라인 설정 생성)

워커 파이프라인 설정을 만듭니다.

요청 본문:

  • name#string (필수) — 파이프라인 이름.
  • pipeline_kind#"detection"|"moderation"|"judge"|"export" (필수) — 파이프라인 종류.
  • selectors#array<PipelineConfigSelector> (필수) — 어떤 데이터를 처리할지 선택하는 셀렉터.
  • definitions#array<DetectionDefinition|ModerationDefinition|JudgeDefinition|ExportDefinition> (필수) — 파이프라인 동작 정의.
  • description#string|null
  • enabled#boolean — 기본값 true.

응답 필드 (201 Successful Response):

  • id#string (필수), name#string (필수), pipeline_kind#"detection"|"moderation"|"judge"|"export" (필수), scope#"workspace"|"shared" (필수), selectors#array<PipelineConfigSelector> (필수), definitions#array<DetectionDefinition|ModerationDefinition|JudgeDefinition|ExportDefinition> (필수), enabled#boolean (필수), created_at#date-time (필수), updated_at#date-time (필수), deleted_at#date-time|null (필수), description#string|null, workspace_id#string (필수)

curl:

curl https://api.mistral.ai/v1/observability/pipeline-configs \
 -X POST \
 -H 'Authorization: Bearer ***' \
 -H 'Content-Type: application/json' \
 -d '{
  "definitions": [
    {
      "patterns": [
        {
          "category": "ipsum eiusmod",
          "confidence": "consequat do",
          "name": "My resource",
          "regex": "occaecat dolor sit"
        }
      ],
      "target_attributes": [
        "nostrud"
      ]
    }
  ],
  "name": "My resource",
  "pipeline_kind": "detection",
  "selectors": [
    {
      "source_kind": "span"
    }
  ]
}'

TypeScript:

import { Mistral } from "@mistralai/mistralai";

const mistral = new Mistral({
  apiKey: proces...EY"] ?? "",
});

async function run() {
  const result = await mistral.beta.observability.evaluations.createPipelineConfig({
    name: "<value>",
    pipelineKind: "judge",
    selectors: [],
    definitions: [
      {
        model: "mistral-moderation-latest",
      },
    ],
  });

  console.log(result);
}

run();

응답 예시 (201):

{
  "created_at": "2025-12-17T10:25:07.818693Z",
  "definitions": [
    {
      "patterns": [
        {
          "category": "ipsum eiusmod",
          "confidence": "consequat do",
          "name": "My resource",
          "regex": "occaecat dolor sit"
        }
      ],
      "target_attributes": [
        "nostrud"
      ]
    }
  ],
  "deleted_at": null,
  "enabled": false,
  "id": "019b2bd7-96e7-7219-8c0b-45a73da50088",
  "name": "My resource",
  "pipeline_kind": "detection",
  "scope": "workspace",
  "selectors": [
    {
      "source_kind": "span"
    }
  ],
  "updated_at": "2025-12-17T10:41:03.469341Z",
  "workspace_id": "019b2bd7-96e7-7219-8c0b-45a73da50088"
}

GET /v1/observability/pipeline-configs/{pipeline_config_id} — Get a worker pipeline configuration (파이프라인 설정 조회)

워커 파이프라인 설정 하나를 가져옵니다.

경로 파라미터:

  • pipeline_config_id#string (필수)

응답 필드 (200 Successful Response): 생성 응답과 동일한 필드 목록.

curl:

curl https://api.mistral.ai/v1/observability/pipeline-configs/{pipeline_config_id} \
 -X GET \
 -H 'Authorization: Bearer ***'

TypeScript:

import { Mistral } from "@mistralai/mistralai";

const mistral = new Mistral({
  apiKey: proces...EY"] ?? "",
});

async function run() {
  const result = await mistral.beta.observability.evaluations.getPipelineConfig({
    pipelineConfigId: "939fdf7d-2edf-45ca-bb75-a47326da1799",
  });

  console.log(result);
}

run();

응답 예시 (200): 생성 응답과 동일한 PipelineConfig JSON 구조입니다.

PUT /v1/observability/pipeline-configs/{pipeline_config_id} — Replace a worker pipeline configuration (파이프라인 설정 교체)

워커 파이프라인 설정 전체를 교체합니다.

경로 파라미터:

  • pipeline_config_id#string (필수)

요청 본문:

  • name#string (필수), pipeline_kind#"detection"|"moderation"|"judge"|"export" (필수), selectors#array<PipelineConfigSelector> (필수), definitions#array<DetectionDefinition|ModerationDefinition|JudgeDefinition|ExportDefinition> (필수), enabled#boolean (필수), description#string|null

응답 필드 (200 Successful Response): PipelineConfig 필드 목록.

curl:

curl https://api.mistral.ai/v1/observability/pipeline-configs/{pipeline_config_id} \
 -X PUT \
 -H 'Authorization: Bearer ***' \
 -H 'Content-Type: application/json' \
 -d '{
  "definitions": [
    {
      "patterns": [
        {
          "category": "ipsum eiusmod",
          "confidence": "consequat do",
          "name": "My resource",
          "regex": "occaecat dolor sit"
        }
      ],
      "target_attributes": [
        "nostrud"
      ]
    }
  ],
  "enabled": false,
  "name": "My resource",
  "pipeline_kind": "detection",
  "selectors": [
    {
      "source_kind": "span"
    }
  ]
}'

TypeScript:

import { Mistral } from "@mistralai/mistralai";

const mistral = new Mistral({
  apiKey: proces...EY"] ?? "",
});

async function run() {
  const result = await mistral.beta.observability.evaluations.updatePipelineConfig({
    pipelineConfigId: "4ee75abd-cccd-4232-9858-0c535465bfd5",
    updatePipelineConfigRequest: {
      name: "<value>",
      pipelineKind: "detection",
      selectors: [],
      definitions: [],
      enabled: true,
    },
  });

  console.log(result);
}

run();

응답 예시 (200): 생성 응답과 동일한 PipelineConfig JSON 구조입니다.

DELETE /v1/observability/pipeline-configs/{pipeline_config_id} — Delete a worker pipeline configuration (파이프라인 설정 삭제)

워커 파이프라인 설정을 삭제합니다.

경로 파라미터:

  • pipeline_config_id#string (필수)

curl:

curl https://api.mistral.ai/v1/observability/pipeline-configs/{pipeline_config_id} \
 -X DELETE \
 -H 'Authorization: Bearer ***' \
 -H 'Content-Type: application/json'

TypeScript:

import { Mistral } from "@mistralai/mistralai";

const mistral = new Mistral({
  apiKey: proces...EY"] ?? "",
});

async function run() {
  await mistral.beta.observability.evaluations.deletePipelineConfig({
    pipelineConfigId: "816cdd49-f7b2-4941-a73d-af3c25958c4d",
  });

}

run();

더 알아보기 (Learn more)