Unity Catalog란 무엇인가요

Unity Catalog란 무엇인가요

테이블로 조회할 때 권한이 적용되는지, 데이터가 이동하며 계보가 남는지, 누가 무엇을 했는지 감사 로그가 쌓이는지 — 이 모든 것을 한곳에서 관리하고 싶다면 Unity Catalog가 답이에요. Unity Catalog는 Databricks에 내장된 통합 거버넌스 계층으로, 워크스페이스에서 활성화되면 모든 데이터 상호작용 아래에서 자동으로 동작합니다. 테이블 조회 시 접근 제어, 데이터 이동 시 계보 추적, 감사용 활동 기록 등이 그것이죠.

언제 활성화되나요

Unity Catalog는 2023년 11월 8일 이후 생성된 모든 Databricks 워크스페이스에 자동으로 활성화돼요. 그 전에 만든 워크스페이스는 Unity Catalog로 업그레이드할 수 있습니다. 또한 Unity Catalog는 오픈소스 구현도 제공되며 공개 GitHub 저장소에서 확인할 수 있어요.

Unity Catalog가 관리하는 객체는 Catalog Explorer, SQL, Databricks CLI, REST API로 다룰 수 있습니다.

객체 모델

Unity Catalog에서 관리하는 모든 자산은 보안 객체(securable object) 로 모델링되는데, 사용자·서비스 주체·그룹에 권한을 부여할 수 있는 객체예요. 테이블·뷰·볼륨·함수·모델 같은 데이터 자산은 catalog.schema.object 의 3단계 네임스페이스를 따릅니다.

테이블과 볼륨은 두 종류로 나뉘어요.

  • 관리형(managed) — Unity Catalog가 거버넌스와 기반 파일 저장소 수명주기를 모두 관리합니다.
  • 외부(external) — Unity Catalog가 거버넌스만 처리합니다.

스토리지 자격 증명, 외부 위치, 커넥션, 공유 같은 다른 객체는 메타스토어(metastore) 바로 아래에 놓입니다.

제공하는 거버넌스 기능

  • 접근 제어 — 권한, 속성 기반 정책, 행·열 필터, 워크스페이스 바인딩으로 누가 무엇에 접근할지 관리합니다.
  • 데이터 탐색 — Catalog Explorer라는 UI로 보안 객체를 발견·관리합니다.
  • 데이터 계보 — 소스에서 최종 뷰·대시보드까지 데이터의 흐름과 변환을 자동 추적합니다.
  • 감사 — 감사 로그 시스템 테이블로 모든 데이터 접근·시스템 활동을 기록합니다.
  • 데이터 분류 — 카탈로그의 민감 데이터를 자동 분류하고 태그합니다.
  • 데이터 품질 모니터링 — 내장 프로파일링과 알림으로 데이터 상태를 선제적으로 추적해 이상을 감지합니다.
  • 데이터 공유 — 오픈 Delta Sharing 프로토콜로 조직·클라우드 간 데이터와 AI 자산을 안전하게 공유합니다.
  • AI 거버넌스 — Unity Catalog와 AI Gateway로 AI 자산과 트래픽을 관리합니다.

시작하기

워크스페이스가 2023년 11월 8일 이후에 만들어졌다면 자동으로 활성화되어 있을 거예요. 먼저 Unity Catalog가 활성화되어 있는지 확인하고 첫 카탈로그·스키마·데이터 접근 제어를 구성하는 것으로 시작하면 됩니다. 그 전에 만든 워크스페이스라면 업그레이드 절차를 따르세요.

출처: What is Unity Catalog? — Databricks on AWS

더 알아보기