데이터 계보 그래프의 스트림
데이터 계보 그래프의 스트림 (Streams on the data lineage graph)
이 문서는 Snowflake 데이터 계보(data lineage) 그래프에서 스트림(stream)이 어떻게 나타나는지 설명해요.
본문
개요
데이터 계보 그래프는 테이블, 뷰 등의 객체가 어떻게 생성·변경되고 다른 객체에 어떻게 의존하는지 시각화해요. 스트림(stream)은 테이블 변경 사항을 추적하는 객체로, 계보 그래프에서 중요한 역할을 해요.
계보 그래프에서의 스트림
스트림은 계보 그래프에서 다음과 같이 표현돼요:
- 업스트림(상위) 관계: 스트림이 추적하는 기본 테이블(소스 테이블)이 스트림의 업스트림 객체예요.
- 다운스트림(하위) 관계: 스트림에서 소비하는 객체(예: 스트림을 소비하는 태스크나 타겟 테이블)가 다운스트림 객체예요.
예시
테이블 t1의 변경을 추적하는 스트림 s1이 있고, 태스크 task1이 스트림 s1을 소비해 테이블 t2에 데이터를 쓴다고 가정하세요. 계보 그래프에서:
t1→s1(스트림이 테이블 변경을 추적)s1→task1→t2(스트림을 태스크가 소비해 테이블에 기록)
주의 사항
- 스트림 객체 자체는 데이터를 저장하지 않아요. 스트림은 기본 테이블의 변경 사항에 대한 메타데이터를 추적해요.
- 스트림이 소비되기 전까지 계보 관계는 유지되며, 스트림 소비 후에는 오프셋이 갱신돼요.
계보 그래프에 대한 자세한 내용은 데이터 계보 문서를 참고하세요.