운영 컨트롤

운영 컨트롤 (Operational Controls)

프로젝트가 요구되는 설정 기준을 충족하는지 확인하는 컨트롤이에요. 이 문서에서는 운영 컨트롤이 언제 유용한지, 그리고 각 컨트롤이 무엇을 확인하는지 표로 정리해 설명할게요.

출처: 문서

본문

운영 컨트롤은 프로젝트가 여러분의 기준대로 설정되어 있는지 검증해요. 이 컨트롤들은 프로젝트의 현재 상태에서 평가되는 정적 검사(static check) 라서 설정할 임계값(threshold)은 없어요.

이 컨트롤들은 Confident AI에 내장되어 있어서 직접 만들 수는 없어요. 조직에 필요한 컨트롤을 거버넌스 폴리시에 추가한 뒤, 그 폴리시를 프로젝트에 할당하면 돼요.

운영 컨트롤은 언제 사용하나요?

• 프로젝트에 특정 기능이 설정되어 있거나 활성화되어 있는지 확인하는 것으로 요구사항을 검증할 수 있을 때.
• 모든 관리 대상 프로젝트에 일관된 거버넌스 기준을 강제해야 할 때.
• 프로젝트에 예약된 평가, 최근 트레이싱 활동, 알림 통합, 재사용 가능한 지표, 위협 탐지가 있어야 할 때.

알림 컨트롤

알림 컨트롤은 모니터링되는 동작에 주의가 필요할 때 팀이 알림을 받는지 확인해요.

예약 작업 컨트롤

예약 작업 컨트롤은 평가와 보안 평가가 요청 시에만이 아니라 반복적으로 실행되는지 확인해요.

데이터셋 컨트롤

데이터셋 컨트롤은 반복 가능한 평가를 위해 테스트 케이스가 저장되고 버전이 관리되는지 확인해요.

트레이싱 컨트롤

트레이싱 컨트롤은 프로덕션 활동이 보이고, 사람이 검토하도록 라우팅될 수 있는지 확인해요.

로그된 트레이스와 로그된 스레드 컨트롤은 지난 30일의 활동을 평가해요.

통합 컨트롤

통합 컨트롤은 Confident AI가 올바른 팀에 알리고 후속 작업을 만들 수 있는지 확인해요.

분류기 컨트롤

분류기 컨트롤은 들어오는 프로덕션 데이터에 대해 자동 분류가 활성화되어 있는지 확인해요.

지표 컨트롤

지표 컨트롤은 평가와 보고에 재사용할 수 있는 측정 항목이 프로젝트에 있는지 확인해요.

위협 탐지 컨트롤

위협 탐지 컨트롤은 보안 위협에 대해 프로덕션 트래픽이 모니터링되는지 확인해요.

더 알아보기

• 거버넌스 컨트롤
• 거버넌스 폴리시
• 런타임 컨트롤