Confident AI 관리 스킬

Confident AI 관리 스킬 (Confident AI Administration Skill)

에이전트에게 Admin SDK로 계정을 관리하는 법 — 프로젝트, 멤버, RBAC, API 키 — 을 가르치는 스킬 문서예요. 이 문서에서는 스킬이 언제 발동하는지, 설치 방법, 그리고 Python·TypeScript 예시를 설명할게요.

출처: 문서

본문

개요 (Overview)

confident-client Agent Skill은 코딩 에이전트에게 Admin SDK — Python과 TypeScript용 confidentai 패키지 — 로 Confident AI 계정을 관리하는 법을 가르쳐요. 원하는 것을 설명하면("[email protected]이 소유한 프로젝트 만들어", "프로덕션 프롬프트 가져와") 에이전트가 올바른 SDK 호출을 작성하고 실행해요. 이 스킬은 confident-ai/confident-client 저장소 — SDK와 같은 저장소 — 에 배포되어서, 지침이 항상 코드와 일치해요.

이 스킬은 35개 리소스에 걸친 275개 작업을 다뤄요: 계정(조직, 프로젝트, 멤버와 초대, RBAC, 거버넌스 폴리시, API 키)과 프로젝트가 보유한 리소스(프롬프트, 데이터셋, 트레이스, 스팬, 스레드, 지표, 테스트 실행, 평가, 대시보드, 어노테이션 큐, 레드팀).

트레이스 전송이나 평가 실행은 다른 키가 필요한 다른 작업이에요. 그건 deepeval, confident-tracing, confident-otel 스킬의 몫이에요.

언제 발동하나요?

이 스킬은 다음과 같은 프롬프트에서 활성화돼요:

Create a Confident AI project called "Customer Support Bot" and make [email protected] the owner.
Invite [email protected] to my organization with a read-only Analyst role.
Rotate the API keys on all our staging projects.
Assign our governance policy to every production project.
Pull the prompt labelled production and show me its template.
Add these five goldens to the "capitals" dataset and push it.
List the traces from production that errored in the last hour.

설치 (Installation)

Skills CLI

Cursor, Claude Code, Codex, Windsurf, OpenCode 등 Skills 호환 어시스턴트에서 작동해요:

npx skills add confident-ai/confident-client --skill "confident-client"

Claude Code (플러그인)

/plugin marketplace add confident-ai/confident-client
/plugin install confident-client@confident-ai-plugins
/reload-plugins

수동 복사

스킬 폴더를 에이전트의 스킬 디렉토리에 복사해요:

git clone https://github.com/confident-ai/confident-client
cp -r confident-client/skills/confident-client .claude/skills/

사전 조건 (Prerequisites)

Admin SDK: pip install confidentai 또는 npm install confidentai
계정 작업용 조직 API 키를 CONFIDENT_ORG_API_KEY로 내보내기
프로젝트 안의 모든 것용 프로젝트 API 키를 CONFIDENT_PROJ_API_KEY로 내보내기

리소스가 호출에 필요한 키를 결정하고, 클라이언트 하나가 둘 다 보유해요:

범위	환경 변수	닿을 수 있는 곳
조직(Organization)	`CONFIDENT_ORG_API_KEY`	`client.organization`, `client.projects`, `client.project(id)`
프로젝트(Project)	`CONFIDENT_PROJ_API_KEY`	그 외 모든 리소스

둘 다 트레이싱과 평가가 쓰는 CONFIDENT_API_KEY가 아니에요. 셋은 모두 별개 변수이고 나란히 설정할 수 있어요. 소스 컨트롤에는 넣지 마세요.

시작하기 (Getting Started)

API 키 내보내기

export CONFIDENT_ORG_API_KEY="confident_us_org_..."
export CONFIDENT_PROJ_API_KEY="confident_us_proj_..."

원하는 것을 설명하기

이 스킬은 프로젝트가 Python인지 TypeScript인지 감지하고 — 코드베이스에 둘 다 마커가 있으면 멈춰서 물어봐요 — 그 다음 프로젝트에 소유자가 있어야 하는지 같은, 지정하지 않은 중대한 옵션에 대해 물어봐요.

Create a Confident AI project called "Customer Support Bot" and make [email protected] the owner.

에이전트가 SDK 호출을 작성하고 실행해요

에이전트가 무엇을 실행하는지 보기

Python

from confidentai import ConfidentAI

client = ConfidentAI()  # reads both key environment variables

created = client.projects.create(
    "Customer Support Bot",
    email="[email protected]",
)
print(created.project.id)
print(created.api_key.value)  # shown only once — the skill surfaces it immediately

TypeScript

import { ConfidentAI } from "confidentai";

const client = new ConfidentAI(); // reads both key environment variables

const created = await client.projects.create(
  "Customer Support Bot",
  "Production support assistant",
  "[email protected]",
);
console.log(created.project.id);
console.log(created.apiKey?.value); // shown only once — the skill surfaces it immediately

프롬프트로 계속 진행하기

같은 흐름이 멤버, RBAC(순서대로 구성됨: permissions → policies → roles → members), 거버넌스 폴리시, 키 순환을 다뤄요. 이 스킬은 폐기가 일시적일 수 있을 때 키를 삭제보다는 비활성화하는 걸 선호해요.

Invite [email protected] with a read-only Analyst role, then assign our governance policy to every production project.

흔한 패턴은 자동화된 프로젝트 프로비저닝 — 에이전트별·환경별·고객별 프로젝트예요. 전체 워크플로는 에이전트용 프로젝트 즉석 프로비저닝을 참고해요.

자주 묻는 질문 (FAQs)

조직 API 키는 프로젝트 API 키와 어떻게 다른가요?

CONFIDENT_ORG_API_KEY는 조직 범위로 계정에 닿아요 — 조직 자체, 프로젝트, 멤버, 역할, 키. CONFIDENT_PROJ_API_KEY는 프로젝트 범위로 한 프로젝트 안의 모든 것 — 프롬프트, 데이터셋, 트레이스, 지표, 테스트 실행 — 에 닿아요. 세 번째 CONFIDENT_API_KEY는 트레이싱과 평가가 사용해요. 셋은 모두 별개 변수라 한 번에 설정할 수 있어요.

이 스킬이 삭제할 수 있나요? 안전한가요?

할 수 있고, 삭제는 되돌릴 수 없어요. 프로젝트를 삭제하면 데이터셋, 프롬프트, 트레이스, 평가가 영구 제거돼요. 스킬의 가드레일이 도와주는데, 중대한 변경 전에 물어보고, 폐기가 일시적일 수 있을 때 API 키를 삭제보다는 비활성화(valid를 false로)하는 걸 선호해요.

Python과 TypeScript 둘 다에서 작동하나요?

네. confidentai 패키지는 둘 다로 제공되고, 스킬의 모든 참조는 양쪽 예시를 담고 있어요. 스킬은 프로젝트 파일에서 언어를 추론하고, 코드베이스에 양쪽 에코시스템 마커가 있으면 추측 대신 멈춰서 물어봐요.

트레이스를 보내거나 평가도 실행할 수 있나요?

이 스킬은 읽을 수 있고, 트레이스를 가져오거나 지표 컬렉션에 대해 평가를 시작할 수 있어요. 그런 건 API 호출이니까요. 하지만 실행 중인 애플리케이션을 계측하거나 테스트 스위트 안에서 지표를 단언(assert)하지는 않아요. 그건 deepeval, confident-tracing, confident-otel 스킬을 사용하세요.

다음 단계

관리에 Vibe Code 적용하기

단계별 워크스루: SDK와 스킬 설치, 프로젝트 생성, 멤버 온보딩을 전부 프롬프트로.

Admin SDK 퀵스타트

스킬이 생성하는 기반 SDK 호출을 Python과 TypeScript로 확인해요.

Confident AI 관리 스킬