제일브레이크·프롬프트 인젝션 완화 — 방어 원칙
제일브레이크·프롬프트 인젝션 완화 — 방어 원칙
제일브레이킹과 프롬프트 인젝션은 Claude가 가이드라인이나 내 지시를 무시하게 만드는 시도예요. Claude는 본질적으로 저항력이 있지만, 추가 방어책이 안전을 크게 강화해요.
입력 스크리닝
프롬프트가 모델에 들어가기 전에 분류기로 위험한 요청을 걸러내요. 반복적으로 가드레일을 우회하는 사용자에게는 응답 조정이나 제한을 고려해요.
견고한 시스템 프롬프트
도구·문서·검색에서 돌아온 콘텐츠는 신뢰할 수 없는 데이터라고 시스템 프롬프트에 명시해, 시스템 프롬프트나 원래 요청을 절대 덮어쓰지 말라고 지시해요. 콘텐츠의 출처("미지의 발신자의 이메일 본문" 등)를 명시하면 신뢰도 보정에 도움돼요.
신뢰 채널 분리
신뢰할 수 없는 페이로드와 주변 구조를 분리하고, 내 지시를 도구 결과에 넣지 말아요. 분류기 판정을 구조화 출력으로 받아 앱에서 분기 처리해요.
자체 레드팀
배포 전에 인젝션 시도가 담긴 문서·이메일·도구 출력으로 워크플로를 테스트해, Claude가 무시하고 스크리닝이 나머지를 잡는지 확인해요.