레드 팀링 프레임워크 & 정책(Red Teaming Frameworks & Policies)

AI 애플리케이션의 위험을 평가할 때 보안 프레임워크를 처음부터 만들 필요는 없어요. Confident AI는 OWASP Top 10, NIST AI RMF 같은 업계 표준 프레임워크를 기본 제공하고, 각 프레임워크를 애플리케이션에 맞게 커스터마이즈할 수도 있어요. 이 글에서 프레임워크의 구성 요소와 첫 번째 프레임워크를 만드는 과정을 살펴볼게요.

출처: 문서

본문

개요

Confident AI는 업계 표준 AI 보안 프레임워크를 기본 제공해요:

OWASP Top 10 for LLMs — OWASP 커뮤니티가 선별한 10개 위험 범주
OWASP Top 10 Agentic Applications — 에이전트 애플리케이션용 10개 위험 범주 (역시 OWASP 커뮤니티)
MITRE ATLAS — MITRE ATT&CK의 실제 관찰에 기반한 적대자 전술·기법
NIST AI RMF — 개인, 조직, 사회에 대한 AI 관련 위험을 관리하기 위한 NIST 위험 관리 프레임워크

모든 기본 프레임워크는 애플리케이션의 요구에 맞게 커스터마이즈할 수 있는 시작 템플릿일 뿐이에요.

보안 프레임워크는 위험 평가 중 AI 애플리케이션을 평가하는 데 사용되는 취약점과 공격의 구성이에요. 기본 프레임워크에는 다음이 포함돼요:

관리할 수 있는 것(What you can manage)

Confident AI의 각 보안 프레임워크는 완전히 구성 가능해요:

취약점(Vulnerabilities)

프레임워크가 어떤 취약점 유형(예: 프롬프트 인젝션, PII 유출)을 테스트할지 정의해요.

공격(Attacks)

평가 중 각 취약점을 공략하는 데 어떤 공격 방법을 사용할지 구성해요.

위험 범주(Risk Categories)

취약점과 공격을 구성 가능한 우선순위 레벨과 함께 위험 범주로 묶어요.

이 구성 요소들이 서로 어떻게 연결되는지 보면:

graph TD
    F[Security Framework] --> RC1[Risk Category 1]
    F --> RC2[Risk Category 2]
    F --> RC3[Risk Category N...]

    RC1 --> V1[Vulnerability A]
    RC1 --> V2[Vulnerability B]
    RC1 --> A1[Attack Method X]
    RC1 --> A2[Attack Method Y]

    RC2 --> V3[Vulnerability C]
    RC2 --> V4[Vulnerability D]
    RC2 --> A3[Attack Method Z]

    V1 -. "tested by" .-> A1
    V1 -. "tested by" .-> A2
    V2 -. "tested by" .-> A1
    V2 -. "tested by" .-> A2

각 위험 범주는 고유한 취약점과 공격 세트를 포함해요. 범주 안의 모든 취약점은 그 범주의 모든 공격으로 테스트되어, 각 쌍마다 테스트 케이스가 하나씩 생성돼요.

첫 번째 프레임워크 만들기(Create Your First Framework)

프레임워크로 시작하는 방법은 세 가지예요:

기본값 사용 — OWASP나 NIST 같은 템플릿을 그대로 사용.
기본값에서 시작해 커스터마이즈 — 템플릿을 선택한 뒤 취약점, 공격, 우선순위를 요구에 맞게 수정.
처음부터 빌드 — Custom Framework Builder로 완전히 커스텀 프레임워크 생성.

프레임워크 만들기(Create a Framework)

사이드바의 Frameworks 탭으로 이동
Add Framework 클릭
그대로 쓰거나 시작점으로 삼을 기본 템플릿(예: OWASP, NIST)을 선택하거나, 처음부터 시작하려면 Custom Framework Builder 선택
Save 클릭

Confident AI에서 프레임워크 정의하기

프레임워크를 검토하고 편집할 수 있는 프레임워크 설정 페이지로 이동하게 돼요.

프레임워크 커스터마이즈(Customize Your Framework)

기본값에서 시작했든 처음부터 만들었든 모든 프레임워크는 완전히 커스터마이즈 가능해요. 설정할 수 있는 것은 세 가지예요:

위험 범주 추가, 제거, 편집
각 위험 범주에 대해 취약점을 구성하고 우선순위 레벨 설정
각 위험 범주에 대해 어떤 공격 방법을 사용할지 구성

위험 범주 커스터마이즈하기

위험 범주를 추가하거나 편집하려면:

Add Risk Category 클릭 (또는 기존 항목을 선택해 편집)
취약점을 선택하고 우선순위 레벨 설정
아래로 스크롤해 공격 방법을 추가하거나 수정
Save changes 클릭

평가 실행(Run the Assessment)

Run Assessment를 클릭해 프레임워크를 대상으로 AI 애플리케이션을 테스트해요.

각 위험 범주에서 생성되는 테스트 케이스 수는:

Test Cases per Risk Category = Vulnerabilities × Attacks

전체 평가에서 시뮬레이션되는 총 공격 수는:

Total Test Cases = sum of (Vulnerabilities × Attacks) across all risk categories

더 적고 더 타겟화된 위험 범주가 더 빨리 실행돼요. 집중된 상태로 시작하고 필요에 따라 커버리지를 확장해요.

프레임워크 커스터마이즈(Customize Frameworks)

기본값이든 커스텀이든 모든 프레임워크는 설정 페이지에서 편집할 수 있어요. 바꿀 수 있는 것들을 볼게요:

위험 범주(Risk categories)

위험 범주는 프레임워크의 최상위 그룹화예요. 각 범주는 특정 보안 관심사(예: "Prompt Injection", "PII Leakage")를 타겟으로 해요.

커버리지를 넓히려면 새 위험 범주 추가
애플리케이션과 관련 없는 범주 제거
테스트 우선순위를 반영하도록 범주 재정렬

취약점(Vulnerabilities)

각 위험 범주 안에서 테스트할 취약점을 정의해요. 취약점은 AI가 보일 수 있는 특정 약점을 나타내요.

범주 내 취약점 유형 추가 또는 제거
CVSS 점수에서 발견 사항이 어떻게 가중되는지 제어하기 위해 우선순위 레벨(critical, high, medium, low) 설정
각 취약점 유형은 공격과 짝을 이루면 테스트 케이스를 생성해요

공격(Attacks)

공격은 각 취약점을 공략하는 데 사용되는 방법이에요. 적대적 입력이 어떻게 생성되고 AI 애플리케이션에 전달되는지를 정의해요.

위험 범주별 공격 방법 추가 또는 제거
각 공격은 범주 안의 모든 취약점에 적용되므로, 위험 범주의 총 테스트 케이스 수는 취약점 수 곱하기 공격 수와 같아져요

프레임워크 변경 사항은 다음 평가 실행부터 적용돼요. 이전 평가 결과에는 영향을 주지 않아요.

프레임워크 평가 예약하기(Schedule Framework Assessments)

위험 평가 프레임워크를 정리한 뒤에는, Confident AI가 UI를 통해 이 프레임워크들에 대한 자동 위험 평가를 예약하도록 해줘요. 자동 위험 평가를 예약하는 방법을 볼게요:

프레임워크 선택(Choose a Framework)

사이드바의 Frameworks 탭으로 이동
위험 평가를 예약하고 싶은 프레임워크를 선택

프레임워크를 검토하고 편집할 수 있는 프레임워크 설정 페이지로 이동하게 돼요.

일정 만들기(Create a Schedule)

페이지 상단의 Automations 탭으로 이동
Add Schedule을 클릭하고 구성을 선택
Create Schedule 클릭

Confident AI에서 레드 팀링 일정 만들기

이렇게 하면 지정된 구성으로 일정이 만들어지고, 구성에서 지정한 X 간격마다 같은 구성으로 위험 평가가 실행돼요.

다음 단계(Next steps)

프레임워크를 구성한 뒤에는 결과를 해석하거나 프로그래밍 방식으로 평가를 실행하는 방법을 배워보세요:

위험 프로필(Risk Profiles)

평가 전반의 CVSS 점수, 취약점 커버리지, 악용 가능성(exploitability) 분석을 이해해요.

DeepTeam으로 레드 팀링(Red Team Using DeepTeam)

CI/CD 통합과 커스텀 공격 개발을 위해 deepteam으로 레드 팀링을 프로그래밍 방식으로 실행해요.

더 알아보기

No-Code Quickstart — 첫 위험 평가를 UI에서 실행해보기
Risk Profile — 평가 결과 읽는 방법 배우기