Datadog LLM Observability 데이터 거버넌스

Datadog LLM Observability 데이터 거버넌스 (Data Governance)

LLM 앱은 프롬프트와 응답에 개인정보나 기밀 정보가 들어가는 경우가 많아서, 관찰 데이터를 어떻게 보호하고 얼마나 오래 보관할지가 중요해져요. Data Governance 문서는 접근 제어, 데이터 레드액션(redaction), 보존 기간을 다루는데, 이 페이지에서 그 핵심을 정리해 볼게요.

출처: Agent Observability 데이터 거버넌스

데이터 접근 제어 (Data Access Control)

Agent Observability는 AI 앱과 관련된 민감 데이터에 대한 접근을 조직 내 특정 팀·역할로 제한할 수 있어요. AI 앱이 개인 데이터, 독점 비즈니스 정보, 기밀 사용자 상호작용을 처리할 때 특히 중요하죠.

이 접근 제어는 Datadog의 Data Access Control 기능 위에 구축돼요. ml_app 태그로 조직 내 특정 AI 앱을 식별하고 접근을 제한할 수 있어요.

스팬 프로세서로 데이터 레드액션

민감 데이터는 Datadog으로 보내기 전에 앱 레벨에서 레드액션하거나 수정할 수 있어요. Agent Observability SDK의 **스팬 프로세서(span processors)**를 쓰면 스팬의 입력·출력 데이터를 조건부로 수정하거나, 스팬 자체를 아예 내보내지 않게 막을 수 있어요. 이렇게 활용해요:

• 프롬프트나 응답에서 민감 정보 제거
• 내부 워크플로우나 테스트 데이터 필터링
• 태그나 다른 기준에 따라 데이터를 조건부로 레드액션

구현 예시와 패턴은 SDK Reference의 Span Processing 섹션을 참고해요.

Sensitive Data Scanner 통합

Agent Observability는 Sensitive Data Scanner와 통합돼요. AI 앱의 어느 단계에든 있을 수 있는 민감 정보(개인 데이터, 금융 정보, 독점 정보 등)를 식별·레드액션해 데이터 유출을 막아 주죠. 사전 스캔 덕분에 대화가 안전하게 유지되고 데이터 보호 규정에도 부합하는 데 도움이 돼요.

데이터 보존 기간

보존 기간은 데이터 종류와 플랜에 따라 달라져요. 계측 앱의 트레이스는 플랜의 스팬 보존 기간을 따르고, 실험·데이터셋·프롬프트는 각자 별도의 기간을 가져요.

트레이스·스팬

계측 앱의 트레이스·스팬은 모든 플랜에서 기본 15일 보존돼요. 여기에는 스팬에 저장된 비용, 토큰 수, 지연, 오류 같은 운영 데이터와 스팬에 붙은 평가 점수도 포함돼요. 보존 애드온으로 30, 60, 90일로 늘릴 수 있는데 프리 티어에는 애드온을 쓸 수 없어요. Trace Explorer에서 쿼리하는 원시 스팬의 보존을 말하는 거고, 스팬에서 파생된 지표는 별도로 더 오래 보관돼요.

실험 (Experiments)

커밋 플랜에서는 실험이 프로덕션 트레이스보다 더 오래 보존돼요. 프리 티어 15일, 온디맨드 15일, 커밋(월·연) 90일, 그리고 30일 애드온 6개월·60일 애드온 9개월·90일 애드온 12개월이에요. 커스텀 계약이면 이 표와 다를 수 있으니 계정 담당자에게 확인하는 게 좋아요.

보존 기간 변경

보존 기간이 길수록 Datadog이 더 많은 데이터를 저장해 과금에 영향을 주는 점을 유의하세요. 요율은 Agent Observability pricing 페이지에서 확인해요. 보존 애드온은 UI에서 켜는 게 아니라 계정 팀을 통해 신청해요.

애드온을 추가하거나 연장하면 더 긴 기간이 아직 만료되지 않은 모든 스팬에 소급 적용돼요. 이미 이전 기간으로 만료된 스팬은 복구할 수 없어요. 예컨대 기본 15일 보존에 오늘 60일 애드온을 추가하면, 지난 15일치 스팬이 60일 기간을 받지만 그보다 오래된 건 이미 사라진 상태예요. 보존 기간을 더 짧게 바꾸면 새 기간보다 오래된 스팬은 더 이상 조회할 수 없어요.

주석이 달린 상호작용

상호작용에 주석을 달면 보존이 연장돼요. 트레이스·스팬·세션에 주석 라벨이나 노트를 붙이면(직접 또는 annotation queue 경유) Datadog이 그 상호작용을 주석 시점부터 90일 보존해요, 스팬 보존 기간이 더 짧아도 말이죠. 스팬에 주석을 달면 부모 트레이스 전체가, 세션에 속한 트레이스에 주석을 달면 세션 전체가 보존돼요. 주석으로 보존을 연장해도 추가 비용은 없어요.

데이터셋 레코드

현재 버전 데이터셋의 레코드는 스팬 보존 기간과 무관하게 3년 보존돼요. 이전 버전 레코드는 90일 보존되고, 사용될 때마다(실험이 그 버전을 읽는 등) 리셋돼요. 90일 연속 사용이 없으면 영구 삭제 대상이 돼요.

프롬프트

프롬프트 레지스트리의 프롬프트는 3년 보존되고, 앱이 가져올 때마다 연장돼요. 사용 중인 프롬프트는 계속 유지되지만, 3년간 가져오지 않으면 영구 삭제 대상이 돼요.

지표 (Metrics)

스팬에서 생성되는 ml_obs.* 지표는 표준 Datadog 지표라 표준 지표 보존을 따라 15개월 전체 입도로 보존돼요. 이건 스팬 보존 기간과 무관하게 유지되므로, 기본 스팬이 만료된 뒤에도 스팬 수·토큰 사용·비용·지연·오류율을 기반으로 장기 대시보드·모니터를 만들 수 있어요. 전체 지표 목록은 Agent Observability 지표 문서를 참고해요.

더 알아보기

• 데이터 접근 제어 더 알아보기
• 데이터셋과 데이터셋 버전 작업
• Datadog 제품 전반의 기본 데이터 보존 기간
• Agent Observability 가격