Red teaming 개요 — 적대적 테스트 케이스로 위험 노출
Red teaming 개요 — 적대적 테스트 케이스로 위험 노출
레드팀은 적대적 테스트 케이스로 배포 전에 안전하지 않거나 보안·정책을 위반하는 동작을 드러내는 방법이에요. 평가(evals)를 보완해 악용 사례·실패 모드·고위험 상호작용에 초점을 맞춰요.
평가와의 차이
- Evals: 의도된 동작을 얼마나 잘 수행하는지 측정.
- Red teaming: 오용 케이스·제일브레이크·프롬프트 인젝션·도구 남용 등 일반 테스트가 놓치는 고위험 엣지 케이스를 탐색.
테스트 범위
조작된 입력, 악성 문서, 비정상 페이로드, 도구 남용, 정책 압박(거절되어야 하는 고위험 주제), 프라이버시 압박(비밀·개인정보 노출 시도) 등을 구성해요. 기준(정상 요청이 여전히 잘 동작해야 함)과 경계·변형 케이스를 함께 갖춰야 해요.
실전 도구
Promptfoo 같은 오픈소스 프레임워크로 적대적 테스트 케이스를 생성·검사하고 결과로 시스템을 개선해요. 테스트 파일에는 실제 유해 지시·비밀·고객 데이터를 저장하지 않아야 해요.