코딩 에이전트용 스킬

코딩 에이전트용 스킬 (Agent Skills)

공식 Agent Skills로 코딩 에이전트에게 DeepEval과 Confident AI 워크플로를 가르치는 방법을 설명하는 문서예요. 이 문서에서는 네 가지 공식 스킬이 무엇을 하는지, 어디에 살고 있는지, 그리고 설치 방법을 정리해 볼게요.

출처: 문서

본문

개요 (Overview)

Confident AI는 공식 Agent Skills를 배포해서, 코딩 에이전트 — Cursor, Claude Code, Codex, Windsurf, 또는 Skills 호환 어시스턴트 — 가 DeepEval과 Confident AI를 올바르게 다루게 가르쳐요. 스킬은 SKILL.md 파일과 참고 문서, 코드 템플릿으로 이루어져 있고, 에이전트가 코드를 작성하기 전에 읽어요. 그래서 훈련 데이터에서 추측하는 대신 우리 문서가 권장하는 것과 같은 워크플로를 따라요.

MCP 서버가 에이전트에게 프로젝트 리소스(트레이스, 데이터셋, 프롬프트, 대시보드)에 대한 실시간 액세스를 준다면, 스킬은 지식을 줘요 — 평가 스위트를 만드는 법, 앱을 계측하는 법, 프로젝트를 올바르게 프로비저닝하는 법. 대부분의 팀은 둘을 함께 사용해요.

공식 스킬 (Official Skills)

공식 스킬은 네 가지이고, 각각 의도적으로 좁은 범위를 가져서 에이전트가 자동으로 올바른 스킬을 고르게 돼요:

스킬 가르치는 내용 사용하는 API 키
confident-client Admin SDK로 계정 관리 — 프로젝트, 멤버, RBAC, 거버넌스 폴리시, API 키 CONFIDENT_ORG_API_KEY
deepeval pytest 평가 스위트 구축 — 데이터셋, 골든, 지표, deepeval test run, 실패 반복 CONFIDENT_API_KEY
confident-tracing confident-trace 통합과 커스텀 스팬으로 Python·TypeScript AI 앱 계측 CONFIDENT_API_KEY
confident-otel confident-trace 패키지 없이 어떤 언어에서든 원시 OpenTelemetry AI 트레이스를 Confident AI로 내보내기 CONFIDENT_API_KEY

범위는 의도적으로 상호 배타적이에요. 각 스킬의 트리거 설명은 에이전트에게 언제 발동하면 안 되는지, 그리고 어떤 형제 스킬을 대신 써야 하는지 알려줘요. 그래서 "내 에이전트에 평가 추가"는 deepeval을, "트레이싱 추가"는 confident-tracing을, "기존 OTel 스팬 내보내기"는 confident-otel을, "새 팀 프로젝트 만들기"는 confident-client를 — 여러분이 스킬 이름을 대지 않아도 활성화해요.

deepeval, confident-tracing, confident-otel 스킬은 평가 결과나 트레이스를 프로젝트로 보내기 때문에 프로젝트 범위 키(CONFIDENT_API_KEY)를 사용해요. confident-client 스킬은 계정 자체를 관리하므로 조직 범위 키(CONFIDENT_ORG_API_KEY)를 사용해요.

스킬이 어디에 있나요?

스킬은 가르치는 SDK와 같은 저장소 안에 배포되기 때문에, 지침이 항상 코드와 일치해요:

설치 (Installation)

모든 스킬은 같은 세 가지 방식으로 설치돼요. 각 스킬 페이지에 정확한 명령이 나와 있어요. 형태는 이렇게 돼요:

Skills CLI

Cursor, Claude Code, Codex, Windsurf, OpenCode 등 Skills 표준을 지원하는 모든 어시스턴트에서 작동해요:

npx skills add confident-ai/deepeval --skill "deepeval"

원하는 스킬에 맞춰 저장소와 스킬 이름을 바꾸면 돼요 — 예를 들어 confident-ai/confident-trace --skill "confident-tracing".

Claude Code (플러그인)

SDK 저장소는 Claude Code 플러그인 마켓플레이스로도 쓰여요. 두 트레이싱 스킬을 모두 설치하려면:

/plugin marketplace add confident-ai/confident-trace
/plugin install confident-trace@confident-trace-plugins
/reload-plugins

플러그인은 confident-tracing과 confident-otel을 번들해요. DeepEval, 관리, Cursor, Codex 명령은 플러그인 문서를 참고해요.

수동 복사

스킬 폴더를 에이전트의 스킬 디렉토리에 복사하거나 심링크해요:

git clone https://github.com/confident-ai/confident-trace
cp -r confident-trace/skills/confident-tracing .claude/skills/

웹에서 Claude.ai를 쓴다면 스킬 폴더를 zip으로 묶어 Settings → Capabilities → Skills 아래에 업로드해요.

설치가 끝나면 스킬을 명시적으로 호출할 필요는 없어요. 원하는 걸 설명하면 에이전트가 스스로 일치하는 스킬을 활성화해요.

자주 묻는 질문 (FAQs)

스킬을 설치하면 MCP 서버도 필요한가요?

둘은 다른 문제를 풀고 함께 쓰일 때 가장 잘 작동해요. MCP 서버는 에이전트에게 프로젝트 리소스 — 트레이스, 데이터셋, 프롬프트, 대시보드 — 에 대한 실시간 액세스를 줘요. 스킬은 워크플로를 가르쳐요: 평가 스위트를 만드는 법, 앱을 계측하는 법, 프로젝트를 올바르게 프로비저닝하는 법. 둘을 가진 에이전트는 예를 들어 deepeval 스킬로 평가 스위트를 만든 뒤 MCP로 결과 테스트 실행을 검사할 수 있어요.

어떤 코딩 에이전트가 스킬을 지원하나요?

Skills 표준을 구현한 모든 어시스턴트 — Cursor, Claude Code, Codex, Windsurf, OpenCode 등. 웹의 Claude.ai도 Settings → Capabilities → Skills 아래에 zip 업로드 형태로 스킬을 받아요.

스킬은 어떻게 최신 상태로 유지되나요?

Skills CLI 설치나 수동 복사는 정적 스냅샷이에요. 변경 사항을 반영하려면 설치를 다시 실행하면 돼요. 대신 플러그인으로 설치하면, 클라이언트가 저장소를 마켓플레이스 소스로 추적하고 자체 플러그인 흐름으로 업데이트해요.

스킬은 오픈소스인가요?

네. 네 개 모두 Apache-2.0 라이선스이고 교사인 SDK와 같은 공개 저장소에 있어서, 설치 전에 스킬이 에이전트에게 주는 모든 지침을 읽을 수 있어요.

다음 단계

MCP 서버

에이전트에게 프로젝트의 트레이스, 데이터셋, 프롬프트, 평가에 대한 실시간 액세스를 줘요 — 스킬이 자연스럽게 어울려요.

Custom Agent Skills

Confident AI의 git 엔드포인트에서 여러분만의 프로젝트별 온보딩 스킬을 코딩 에이전트에게 제공해요.

더 알아보기