Openflow Connector for Veeva Vault 사용하기

이 페이지에서는 Veeva Vault용 Openflow Connector를 설치·구성한 뒤 수행해야 할 작업들을 설명해요. 전체 재로드 강제, 모니터링, 그리고 흔한 문제 해결 방법을 다룹니다.

출처: Snowflake 문서

본문

Note

이 커넥터는 Snowflake Connector Terms에 의해 규율됩니다.

이 토픽은 Veeva Vault용 Openflow Connector를 설치·구성한 뒤 수행해야 할 수 있는 작업들을 설명합니다.

전체 재로드 강제

커넥터는 이미 처리된 Direct Data 파일을 추적하는 내부 상태를 유지합니다. 일부 상황에서는 새 전체 스냅샷을 수행하도록 커넥터를 강제해야 할 수 있습니다. 예를 들어 데이터 문제를 해결한 뒤나 커넥터를 오랜 기간 중지한 뒤가 대표적입니다.

전체 재로드를 강제하려면:

커넥터 프로세스 그룹을 우클릭하고 Stop을 선택해 흐름의 모든 프로세서를 중지합니다.
처리 중인 in-flight FlowFiles가 없는지 확인합니다. 흐름의 모든 큐가 비어 있는지 확인하면 됩니다.
캔버스를 우클릭하고 Disable all controller services를 선택합니다.
Controller services로 이동해 Veeva Vault Client Service라는 컨트롤러 서비스를 찾습니다.
List Veeva Vault Files 프로세서에서 View state를 선택한 뒤 Clear state를 선택합니다.
캔버스를 우클릭하고 Enable all controller services를 선택한 다음, 모든 프로세서를 시작해 커넥터를 재개합니다.

커넥터는 지워진 상태를 새 시작으로 간주하고, 다음 실행 때 최신 전체 Direct Data 파일을 처리합니다.

모니터링

Veeva Vault에서 Snowflake로 동기화되는 데이터 양을 추적하려면 이벤트 테이블을 조회하세요. 다음 예시 쿼리는 지난 30분 동안의 관련 로그를 가져옵니다:

SELECT
  timestamp,
  Deployment_ID,
  Runtime_Key,
  parsed_log:level as log_level,
  parsed_log:loggerName as logger,
  parsed_log:formattedMessage as message,
  parsed_log
FROM (
  SELECT
    timestamp,
    resource_attributes:"openflow.dataplane.id" as Deployment_ID,
    resource_attributes:"k8s.namespace.name" as Runtime_Key,
    TRY_PARSE_JSON(value) as parsed_log
  FROM OPENFLOW.TELEMETRY.EVENTS
  WHERE true
    AND timestamp > dateadd('minutes', -30, sysdate())
    AND record_type = 'LOG'
    AND resource_attributes:"k8s.namespace.name" like 'runtime-%'
  ORDER BY timestamp DESC
)
WHERE true
  AND logger LIKE '%veeva%';

Openflow 흐름 모니터링에 대한 자세한 내용은 telemetry 데이터로 Openflow 모니터링을 참고하세요.

문제 해결

커넥터의 일반적인 문제를 해결하는 데 다음 정보를 사용하세요.

Direct Data가 활성화되지 않음

커넥터가 Direct Data 파일을 가져올 수 없다는 오류로 실패하면 Vault에서 Direct Data가 활성화되어 있는지 확인하세요. Vault 관리 설정에서 이 기능을 활성화하려면 Veeva Vault 관리자에게 문의하세요.

인증 실패

커넥터가 인증 실패를 보고하면:

Veeva Vault Username과 Veeva Vault Password 파라미터가 올바른지 확인합니다.
서비스 계정에 API 접근이 활성화되어 있고 필요한 권한이 있는지 확인합니다.
Veeva Vault에서 계정이 잠겼거나 비활성화되었는지 확인합니다.

캔버스를 우클릭해 Controller services를 선택하고 Veeva Vault Client Service를 찾은 뒤 Verify Properties를 선택하면 자격 증명을 검증할 수 있습니다. 이 작업은 구성된 Vault에 대한 연결·인증 검사를 트리거합니다.

긴 작업 중 세션 만료

커넥터는 Vault API에서 INVALID_SESSION_ID 오류를 받으면 재인증하여 세션 만료를 자동으로 처리합니다. 수동 개입은 필요 없습니다. 이벤트 테이블에서 반복적인 세션 만료 메시지가 보인다면, 다른 프로세스가 같은 서비스 계정 자격 증명을 사용하고 있지 않은지 확인하세요. 동시 세션이 이전 세션을 무효화할 수 있기 때문입니다.

Snowflake에 새 데이터가 나타나지 않음

커넥터가 실행 중인데 Snowflake에 새 데이터가 나타나지 않으면:

Veeva Vault가 새 Direct Data 파일을 게시하고 있는지 확인하세요. 커넥터는 존재하는 아카이브만 처리할 수 있습니다.
Veeva Vault Ingestion Mode가 올바르게 설정되었는지 확인하세요. INCREMENTAL로 설정되었는데 구성된 시작 시간 이후 증분 아카이브가 없다면 처리되는 데이터가 없습니다.
다운로드·압축 해제·로딩 단계에서의 실패를 나타내는 오류 메시지가 있는지 이벤트 테이블을 확인하세요.

Snowflake 권한 오류

커넥터가 테이블 생성이나 데이터 로딩 시 권한 오류를 보고하면:

커넥터에 구성된 execute-as 역할이 대상 데이터베이스와 스키마에 USAGE, 스키마에 CREATE TABLE, 웨어하우스에 USAGE와 OPERATE 권한을 갖는지 확인합니다.
Openflow - BYOC Deployments의 경우, 서비스 사용자에게 올바른 역할이 할당되었는지와 RSA 공개 키가 올바르게 구성되었는지 확인합니다.

Openflow Connector for Veeva Vault 사용하기