Kafka 커넥터 관리

Kafka 커넥터 관리 (Managing the Kafka connector)

중요:

사전 공지: 클래식 Kafka 커넥터(v3 이하)는 현재 완전히 지원되지만, 향후 폐기될 예정이에요.

조치: 즉시 변경할 필요는 없어요. 현재 워크로드는 안전하며 계속 완전히 지원돼요.

일정: Snowflake는 2026년 중반에 공식 폐기 공지를 발표할 계획이에요. 공지 후 수명 종료까지 18개월의 마이그레이션 기간이 시작돼요.

권장사항: 모든 새 구현에는 Snowflake Connector for Kafka (v4)를 사용하세요.

마이그레이션 지침은 v3에서 v4로 마이그레이션을 참고하세요.

이 문서는 Kafka 커넥터 관리와 관련된 관리 작업을 설명해요.

출처: 문서

본문

Kafka 커넥터가 사용하는 Snowflake 객체 삭제

더 이상 Kafka 커넥터를 사용해 Snowflake 테이블에 데이터를 로드할 계획이 없다면 Kafka를 종료하고 커넥터가 사용하는 Snowflake 객체를 삭제할 수 있어요.

커넥터는 데이터를 수집하기 위해 다음 유형의 Snowflake 객체를 사용해요:

명명된 내부 스테이지
파이프
테이블

이 섹션은 Kafka 커넥터가 사용하는 Snowflake 객체를 찾고 삭제하는 방법을 제공해요.

스테이지 삭제

커넥터는 각 Kafka 토픽에 대해 하나의 명명된 내부 스테이지를 만들어요. 스테이지 이름의 형식은 다음과 같아요:

SNOWFLAKE_KAFKA_CONNECTOR_connector_nameSTAGEtable_name

각 내부 스테이지는 테이블에 로드할 파일뿐만 아니라 Kafka에서 테이블로의 행 전달을 보장하는 데 사용되는 "상태(state)" 정보도 저장한다는 점에 유의하세요.

스테이지와 그 상태 정보가 보존되면 커넥터를 중지하고 다시 시작할 때 커넥터는 자동으로 중단한 지점에서 재개를 시도해요. 하지만 스테이지가 제거되면 커넥터는 중단한 지점에서 재개할 수 없어요.

Kafka 커넥터가 사용하는 스테이지를 삭제하려면:

스테이지 소유자(즉 스테이지에 대한 OWNERSHIP 권한이 있는 역할. Kafka 구성 파일에서 Kafka 커넥터를 실행하도록 정의된 사용자의 기본 역할이어야 함)로 SHOW STAGES를 실행해 스테이지 이름을 찾아요.
DROP STAGE를 실행해 시스템에서 제거할 각 스테이지를 삭제해요.

파이프 삭제

커넥터는 Kafka 토픽의 각 파티션에 대해 하나의 파이프를 만들어요. 파이프 이름의 형식은 다음과 같아요:

SNOWFLAKE_KAFKA_CONNECTOR_connector_namePIPEtable_name_partition_number

Kafka 커넥터가 사용하는 파이프를 삭제하려면:

파이프 소유자(즉 파이프에 대한 OWNERSHIP 권한이 있는 역할. Kafka 구성 파일에서 Kafka 커넥터를 실행하도록 정의된 사용자의 기본 역할이어야 함)로 SHOW PIPES를 실행해 파이프 이름을 찾아요.
DROP PIPE를 실행해 시스템에서 제거할 각 파이프를 삭제해요.

테이블 삭제

대상 테이블에 로드된 데이터가 더 이상 필요하지 않으면 이 테이블도 삭제할 수 있어요.

Kafka 구성 속성의 snowflake.topic2table.map 파라미터로 Kafka 토픽을 테이블에 매핑하지 않았다면, Kafka 커넥터가 토픽 이름을 사용해 새 테이블을 만들었어요. 테이블 이름은 토픽 이름이 Snowflake 객체 명명 규칙을 위반하지 않는 한 대문자이며 그 외에는 토픽 이름과 동일해요. 예를 들어 Snowflake는 temperature_data라는 Kafka 토픽에 대해 TEMPERATURE_DATA라는 테이블 이름을 만들어요.

Kafka 커넥터가 사용하는 테이블을 삭제하려면:

테이블 소유자(즉 테이블에 대한 OWNERSHIP 권한이 있는 역할. Kafka 구성 파일에서 Kafka 커넥터를 실행하도록 정의된 사용자의 기본 역할이어야 함)로 SHOW TABLES를 실행해 테이블 이름을 찾아요.
DROP TABLE을 실행해 시스템에서 제거할 각 테이블을 삭제해요.

Kafka 커넥터 관리