CSAM 지침

CSAM 지침 (CSAM guidance)

OpenAI는 이 리소스를 아동 보호 전문가들의 자문과 함께 개발했어요. (원문의 일부 외부 기관 인용 링크는 마크다운 변환 과정에서 URL이 누락되어 본문 텍스트만 보존했어요.)

출처: 문서

본문

아동 안전을 염두에 두고 빌드하기 (Build with child safety in mind)

OpenAI는 개발자에게 명확한 아동 안전 기대치를 가지고 있어요. 사용자가 아동 성적 학대 및 착취를 범죄로 처벌하는 법률을 포함한 적용 법률에 따라 OpenAI 서비스를 사용하도록 보장할 책임은 여러분에게 있어요. OpenAI 서비스를 18세 미만 누군가를 착취하거나, 위험에 빠뜨리거나, 성적으로 대상화하는 데 절대 사용하지 마세요. OpenAI의 이용 약관을 참고하세요.

온라인 아동 성적 착취와 학대는 어린이를 대상으로 하지 않는 제품과 서비스까지 포함한 다양한 제품·서비스에 영향을 미쳐요. OpenAI는 개발자가 이 학대를 다루기 위해 어떤 조치를 취해야 하는지 이해하도록 돕고 싶어 해요.

가장 이른 단계부터 사람들이 여러분의 제품을 어떻게 악용할 수 있는지 고려하세요. 아동 안전 장치가 이미 복잡한 제품이나 시스템에 뒤늦게 억지로 끼워 맞추는 일이 되지 않도록, 확장될 수 있게 일찍 시작하세요. 모든 규모의 개발팀과 조직은 사용자가 메시징, 콘텐츠 업로드, 이미지 편집, 라이브스트리밍, 발견, 결제를 지원하는 제품이라면 특히 아동 성적 학대 자료(CSAM), 그루밍, 성적 협박, 아동 성적 대상화, 라이브스트리밍 학대, 인신매매 등 다양한 해악에 제품을 악용할 수 있는 방법을 평가해야 해요.

이 리소스는 CSAM에 초점을 맞추고 어린이를 보호하기 위한 실용적인 지침을 개발자에게 제공해요.

어디서 시작할까 (Where to start)

어디서 시작할지 정하기 어려울 수 있어요. 올바른 해결책과 구현 경로는 조직의 규모, 성숙도, 가용 리소스에 따라 달라져요.

다음 체크리스트는 CSAM을 다루기 위한 좋은 출발점이에요. 중요한 것은 위험을 다루기 시작하는 것이에요. 모든 도구나 절차를 완비할 때까지 기다리지 말고 행동하세요.

예방 (Prevent)

제품이나 서비스에 대한 명확한 규칙을 세우고, 사용자 경험에 대한 의견을 들을 수 있는 메커니즘을 만드세요.

  • 명확한 규칙 세우기. 이용 약관, 수용 가능한 사용 정책, 또는 커뮤니티 지침에서 아동 성적 착취와 학대를 금지하세요. 전문가 지침과 실용 도구(온라인 아동 성적 착취와 학대를 금지하는 외부 표준 리소스 포함)는 (링크) 또는 Tech Coalition의 무료 *(링크)*에서 더 배울 수 있어요.
  • 사용자에게 신고 기능 제공하기. 사용자가 잠재적으로 유해한 콘텐츠나 행동을 표시할 수 있는 눈에 보이는 방법을 제공하고, 그 우려를 정책 판단에 충분한 정보가 담긴 모니터링되는 큐(queue)나 장소로 보내세요. 더 자세한 지침은 호주 *(링크)*를 참고하세요.
  • 안전 식별자(safety identifier)로 업로드와 사용자 추적하기. 제품이나 서비스에서 모든 업로드를 사용자와 연결하세요. 지원되는 OpenAI 요청에 안전 식별자 보내기는 OpenAI가 학대를 모니터링하고 감지하는 데 도움이 돼요. 이는 OpenAI가 제품이나 서비스에서 정책 위반을 감지하면 팀에 더 실행 가능한 피드백을 제공하게 도와줄 수 있어요. 안전 식별자는 팀이 학대에 더 빨리 대응하게도 해 줘요. 활동을 개별 최종 사용자로 추적하는 안정적인 방법을 만들어 한 사용자의 악용이 전체 조직의 접근을 방해할 가능성을 줄여요. 각 사용자를 나타내려면 고유 문자열을 사용하세요. 개인정보를 보호하려면 이메일 주소나 사용자 이름을 해시해서 개인 식별 정보가 드러나지 않게 보내세요. 직접 Images API는 이 목적에 다른 매개변수를 사용해요. 이미지 생성과 이미지 편집에는 같은 안정 식별자를 user로 보내세요.

더 많은 조치를 할 준비가 되면 다른 예방 조치를 고려하세요:

  • CSAM 관련 키워드나 URL에 대한 예방 중심 차단 또는 거부를 추가하세요. *(링크)*에서 더 배우세요.
  • CSAM 관련 행동을 시도하는 사용자에게 경고나 메시지를 제공하세요. *(링크)*에서 더 배우세요.
  • 서비스가 어린이에게 제공되고 사용자가 여러분의 플랫폼에 있는 자신의 성적 이미지나 영상을 알려 준다면, 영국 어린이가 이미지·영상 삭제나 차단을 신고할 수 있는 IWF와 NSPCC의 (링크) 프로그램, 또는 NCMEC의 (링크) 서비스 같은 지원 서비스로 안내하세요.
  • 어린이에게 즉각적이거나 임박한 해가 있다는 것을 알게 되면:
    • 지역 경찰 같은 응급 서비스에 사건을 회부하세요.
    • 어린이에게 응급 서비스에 연락하는 방법을 알려 주세요.

감지 (Detect)

검토와 조치를 위해 잠재적으로 위반하는 콘텐츠나 행동을 식별하세요.

접근 가능한 CSAM 감지 도구를 사용하세요:

  • 지각 해시 매칭(perceptual hash matching). 제품이 시각 미디어 업로드, 저장, 처리를 지원한다면 지각 해시 매칭 구현을 고려하세요. 이 기술은 이미지나 영상의 디지털 지문을 만들어 알려진 CSAM 지문과 비교해서, 누군가 파일을 리사이즈, 압축, 또는 다른 방식으로 변형한 뒤에도 알려진 자료를 식별하게 도와 줘요. PhotoDNA 같은 해시 매칭 기술과 알려진 CSAM 해시 목록(알려진 CSAM 해시 저장소) 모두에 접근해야 해요. 모든 서비스가 둘 다 제공하는 건 아니에요.
    • 권장 해시 매칭 기술:
      • *(링크)*는 이미지와 영상에서 알려진 CSAM에 특화된 탐지를 제공해요.
      • Tech Coalition은 무료 *(링크)*를 통해 자격을 갖춘 기업에 (링크) 서브라이선스를 제공해요.
      • (링크).
      • YouTube의 (링크) 기술은 영상에서 알려진 CSAM을 식별하는 해시 매칭을 제공해요.
    • 권장 CSAM 해시 목록:
      • NCMEC는 알려진 CSAM, 착취 콘텐츠, 생성형 AI CSAM 목록을 제공해요. Electronic Service Provider 팀에 연락하세요.
      • IWF는 *(링크)*를 제공하는데, 통합에 기술 전문성이 거의 필요 없는 자격을 갖춘 소기업과 스타트업을 위한 해시 매칭 서비스예요.
  • 신규 CSAM 감지 분류기. 이 도구들은 알려지지 않았거나 보지 못한 CSAM을 감지할 수 있어요.
    • *(링크)*는 이미지와 영상에서 잠재적으로 새로운 CSAM을 식별하는 분류기뿐 아니라 관련 텍스트 기반 착취 신호도 제공해요.
    • Google의 *(링크)*는 AI로 이미지와 영상을 분류해 검토 우선순위를 지정해요. 분류기가 지정한 우선순위가 높을수록 미디어에 CSAM이 포함됐을 가능성이 높아요.
  • 악성 행위자 감지와 제재. 사용자 이름, 이메일 주소, 기기 ID 같은 사용 가능한 식별자와 정보를 사용해 CSAM 정책을 위반했거나 위반을 시도한 계정을 영구 금지하거나 파괴하는 것을 고려하세요. 제재를 우회하려 하는 상습 위반자를 주시하세요.

대응과 신고 (Respond and report)

제품과 팀이 서비스에서 CSAM을 알게 됐을 때 적절한 조치를 취할 수 있게 하세요.

  • 등록하고 당국에 신고할 준비를 하세요. (링크) 또는 여러분의 *(링크)*를 참고하세요. NCMEC에 신고하려면 무엇이 실행 가능한 지, 그것이 아동 보호를 어떻게 지원할 수 있는지 고려하세요. 신고를 적절한 관할권으로 라우팅하고 용의자를 식별하는 데 도움이 되도록 가능한 한 많은 정보를 포함하세요. NCMEC의 *(링크)*에는 IP 주소, 기기 ID, 기타 데이터가 포함돼요.

지역 법률과 신고 의무는 관할권에 따라 다를 수 있어요.

  • 유용한 기록과 식별자를 보관하세요. 신고할 때 사건 문서와 위반 행위자를 식별하는 데 도움이 될 수 있는 관련 데이터를 유지해서, 법 집행의 요청에 응답할 수 있게 하세요.
  • 대응 플레이북을 작성하세요. 누가 신고를 검토하는지, 긴급 사건을 내부·외부로 어떻게 에스컬레이션하는지, 위반을 책임진 사용자에게 어떤 조치를 취할지, 누가 그 결정을 내릴 수 있는지 정의하세요. 이는 제재 운영을 확립하는 데 도움이 돼요.
  • IWF 같은 조직과 다른 핫라인을 포함한 신뢰할 수 있는 전문 신고자 네트워크를 구축해서, 그들의 전문성을 사용해 CSAM 사례를 표시하게 하는 것을 고려하세요.
  • 관련된 사람들을 훈련하고 지원하세요. 인간이 루프에 있는 것이 중요해요. 검토자, 지원 팀, 온콜 직원이 여러분의 정책, 에스컬레이션 경로, 자동 시스템의 한계를 이해하게 하세요.
  • 콘텐츠 중재나 학대 대응에 필요한 도구를 사용하세요. 다른 도구가 아동 안전 위험과 해악을 다루는 데 도움이 될 수 있어요:
    • Moderation API는 텍스트와 이미지에서 잠재적으로 유해한 콘텐츠를 감지해요. omni-moderation-latest 모델에 대해 더 배우세요. 이것은 전용 CSAM 감지의 대체 수단이 아니에요. 그렇지만 18세 미만이 관련된 성적 콘텐츠를 다루는 sexual/minors 범주는 계속 포함하고, 이 범주는 텍스트 전용이에요. 결과를 사용해:
      • 콘텐츠를 차단하거나 필터링하세요.
      • 콘텐츠를 인간 검토로 보내세요.
      • 계정에 개입하세요.
      • 반복적인 악용에 마찰을 더하고 제품 또는 서비스별 제재를 적용하세요.
    • 도움이 될 수 있는 다른 중재 도구를 고려하세요. 예를 들어 *(링크)*는 텍스트, 멀티미디어, 프로필에서 잠재적 정책 위반을 분류하는 오픈소스 검토 콘솔이에요. 인간 및 자동 검토를 지원하고, 검토자에게 웰니스 지향 접근을 취하며, NCMEC CyberTipline 신고를 포함한 종단 간 중재 워크플로를 가능하게 해요.

더 많은 조치를 할 준비가 되면 다른 대응·신고 조치를 고려하세요:

  • CSAM 대응에 참여하는 사람들을 지원하세요. 조직은 CSAM 검토자를 위한 훈련, 지원, 웰빙 프로그램에 투자해야 해요. *(링크)*를 읽으세요.
  • 전문가 지원을 받으세요. 시작하기 위해 큰 트러스트 앤 세이프티 팀이 필요하진 않아요. Tech Coalition은 기업이 더 강한 아동 안전 시스템을 구축하는 방법을 제공해요:
    • *(링크)*는 특히 스타트업과 중소 플랫폼을 위해 설계된 무료 역량 강화 프로그램으로, 모든 규모의 기업에 열려 있어요. 강력한 아동 안전 기반을 확립하는 데 도움이 되는 실용적인 리소스, 지침, 지원을 제공해요. 자격을 갖춘 기업은 Pathways를 통해 PhotoDNA 서브라이선스를 신청할 수 있어요.
    • *(링크)*는 아동 안전 프로그램을 강화하고 특정 위험에 대응하기 위해 더 실질적인 도움을 원하는 기업에 맞춤 컨설팅과 구현 지원을 제공해요.
    • *(링크)*는 기업이 온라인 아동 성적 착취와 학대에 대한 업계의 글로벌 공동 대응에 참여하고, 동료와 교류하고, 전문성을 공유하고, 공동 행동에 기여하게 해 줘요. 초기 상담은 Tech Coalition 팀에 연락하세요.
    • 개발자는 추가 지침을 위해 Tech Coalition의 *(링크)*를 사용할 수 있어요.

보호 장치 확장하기 (Scale safeguards)

올바른 통제와 보호 장치는 제품, 개발 단계와 성숙도, 사용자와 기능, 운영 지역, 가용 리소스에 따라 달라져요.

라이브스트리밍, 이미지 생성 또는 편집, 파일 저장, 사적 연결을 지원하는 제품처럼 위험 노출이 더 큰 제품은 다음과 같은 보호 장치의 구현과 강화를 고려해야 해요:

  • 출시 전과 고위험 기능이 바뀔 때마다 제품 위험 평가. *(링크)*를 참고하세요.
  • 서비스에 적합한 계층적 감지. 해시 매칭, 이미지·영상 분류기, 텍스트 신호, 키워드 감지, URL 차단을 포함할 수 있어요.
  • 신뢰도가 높거나 심각도가 높은 신호에 대한 인간 검토. 검토자 웰빙을 보호하고 유해 자료에 대한 불필요한 노출을 제한하는 도구를 사용하세요.
  • 반복적인 악용을 어렵게 만드는 속도 제한, 계정 통제, 학대 모니터링.
  • 정기적인 테스트와 측정으로 공백을 찾고, 결과를 추적하고, 통제를 개선하세요.

이 권장 사항은 출발점이지, 법적 조언이나 보편적인 주의 기준이 아니에요. 서비스, 위험 프로필, 적용 법률에 맞게 조정하세요.

더 알아보기 (Learn more)