Snowpipe Streaming 고성능 아키텍처의 제한 사항 및 고려 사항
Snowpipe Streaming 고성능 아키텍처의 제한 사항 및 고려 사항
이 문서는 고성능 아키텍처를 사용하는 Snowpipe Streaming의 알려진 제한 사항과 주요 고려 사항을 설명합니다.
출처: Snowflake 문서
본문
일반 및 서비스 수준 제한 사항
- 이 서비스는 정부 전용 리전을 제외한 모든 Amazon Web Services (AWS), Microsoft Azure, Google Cloud 리전에서 사용할 수 있습니다.
테이블 한도
- 최대 처리량: 테이블은 비압축 기준 총 20 GB/s의 처리량을 달성할 수 있습니다.
Pipe 한도
- 파이프당 Named Channels: 기본적으로 단일 파이프는 최대 2,000개의 활성 Named Channel을 가질 수 있습니다. 사용 사례에 더 많은 Named Channel이 필요하면 Snowflake 지원팀에 문의하세요.
- Snowpipe Streaming용 Pipe: 계정당 파이프 한도는 50,000이며 일반 파이프와 기본 파이프 모두에 적용됩니다. 테이블당 한도는 10개 파이프로 유지됩니다. 파이프가 더 필요하면 Snowflake 지원팀 에 문의하세요.
Named Channel 한도
각 Named Channel에는 다음과 같은 기본 한도가 있습니다. 처리량 및 요청률 한도는 Snowflake 지원팀이 요청에 따라 올릴 수 있는 시행된 기본값입니다. 4 MB REST 페이로드 한도는 요청에 따라 올리지 않는 하드한 요청별 상한이며, 압축(Gzip 또는 ZSTD)을 사용해 요청당 더 많은 데이터를 담으세요. 애플리케이션이 Named Channel당 더 높은 처리량을 요구하면 조정 가능한 한도를 올리는 것에 대해 Snowflake 지원팀에 문의하세요.
- Named Channel 처리량: 20 MB/s (비압축).
- REST 페이로드 한도: 요청당 4 MB (압축을 사용한 경우 압축 이후 네트워크로 전송되는 페이로드 크기). 요청당 더 많은 데이터를 수집하려면 압축(Gzip 또는 ZSTD)을 사용하세요. 이러면 더 큰 비압축 데이터 용량을 4 MB 한도 안에 담을 수 있습니다.
- 요청률: 초당 10개 요청 (RPS).
수집 및 데이터 특정 제한 사항
- 고성능 아키텍처의 Snowpipe Streaming에서 ON_ERROR 옵션은 CONTINUE만 지원합니다. 디버깅 및 복구를 위해 실패한 행을 캡처하려면 대상 테이블에서 오류 로깅을 켜세요. 자세한 내용은 Snowpipe Streaming 고성능 아키텍처의 오류 로깅 을 참고하세요.
- 서비스가 새 처리량 수준을 지원하기 위해 탄력적으로 확장되는 동안, 데이터 처리량의 급격한 급증은 엔드투엔드 지연 시간의 일시적 증가를 경험할 수 있습니다.
- 파티션된 테이블을 포함한 Snowflake 관리형 Iceberg 테이블이 지원됩니다. 자세한 내용은 고성능 아키텍처의 Snowpipe Streaming: Apache Iceberg™ 테이블 을 참고하세요.
- 시간 함수(CURRENT_DATE, CURRENT_TIME, CURRENT_TIMESTAMP, GETDATE, LOCALTIME, LOCALTIMESTAMP, SYSDATE, SYSTIMESTAMP)는 각 행이 커밋될 때가 아니라 파이프의 copy 문이 컴파일될 때 평가되므로, 몇 시간 간격으로 수집된 행이 같은 값을 공유할 수 있습니다. 이는 copy 문에서 호출된 함수와 열 DEFAULT 값 모두에 적용됩니다. 각 행이 커밋된 시점을 기록하려면 대상 테이블에서 행 타임스탬프(row timestamps) 를 활성화하고
METADATA$ROW_LAST_COMMIT_TIME를 쿼리하세요.
SDK 및 아키텍처 제한 사항
- 지원되는 아키텍처 (Rust Core): ARM64 Mac, Windows, ARM64-Linux, x86_64-Linux.
- Linux 요구 사항: Linux에서 SDK를 사용하면 시스템에 glibc 버전 2.26 이상이 있어야 합니다.
- 시간대: SDK는 자동으로 UTC를 사용하며 사용자가 이 설정을 변경할 수 없습니다.
- 인증: SDK는 RSA 키-쌍(JWT), OAuth, personal access token (PAT) 인증을 지원합니다. OAuth와 PAT는 SDK 버전 1.4.0 이상이 필요합니다.
- Snowpark Container Services (SPCS): SDK 버전 1.5.0 이상은 workload-identity 인증을 사용해 SPCS 서비스 내에서 실행되는 것을 지원합니다. 자세한 내용은 Snowpark Container Services에서 Snowpipe Streaming SDK 실행 을 참고하세요.