Moderation API — 출력을 필터링하는 실전 자동화
Moderation API — 출력을 필터링하는 실전 자동화
Moderation API는 생성된 콘텐츠를 분류해 불안전한 범주(폭력·증오·자해 등)를 식별하는 데 쓰여요. 레드팀으로 취약점을 찾았다면, 이를 운영 필터로 만드는 게 실전 단계예요.
쓰임새
- 사용자 입력·모델 출력을 검사해 정책 위반 여부를 판정.
- 위반 시 응답을 거절하거나 재생성하도록 앱에서 분기 처리.
- Responses/Chat Completions 요청에서 모더레이션 점수를 함께 받아 사후 필터 없이 관리.
레드팀과의 관계
레드팀은 취약점을 '찾는' 활동, 모더레이션은 그 결과를 바탕으로 '막는' 방어층이에요. 둘은 안전 파이프라인의 검출·차단 두 축을 이뤄요.
실전 팁
- 위반 범주를 기준으로 임계값을 정하고 구조화 출력으로 판정을 받아 앱에서 자동 분기.
- 정기적으로 레드팀 케이스를 재실행해 필터 회귀를 감지.