Microsoft Azure
Microsoft Azure
이 확장 기능을 사용하면 Azure Blob Storage의 객체에서 데이터를 인제스트하고, 딥 스토리지 및 태스크 로그로 Azure Blob Storage를 사용할 수 있어요.
출처: 문서
본문
이 확장 기능은 다음을 할 수 있게 해줘요:
- Azure Blob Storage에 저장된 객체에서 데이터 인제스트하기.
- 딥 스토리지(deep storage)를 위해 Azure Blob Storage에 세그먼트 쓰기.
- 장기 보관을 위해 태스크 로그를 Azure Blob Storage에 저장하기.
info
이 Apache Druid 확장 기능을 사용하려면 extensions load list에 druid-azure-extensions를 포함하세요.
Azure에서 데이터 인제스트하기 (Ingest data from Azure)
Azure 입력 소스(azureStorage)를 사용해 MSQ 또는 네이티브 배치 parallel task로 Azure Blob Storage의 객체를 직접 읽어 데이터를 인제스트하세요.
Azure에 세그먼트 저장하기 (Store segments in Azure)
info
Azure를 딥 스토리지로 사용하려면 druid.storage.type=azure로 설정하세요.
위치 구성 (Configure location)
다음 속성을 사용해 세그먼트를 저장할 위치를 구성하세요:
| Property | Description | Default | | druid.azure.account | The Azure Storage account name. | Must be set. | | druid.azure.container | The Azure Storage container name. | Must be set. | | druid.azure.prefix | A prefix string that will be prepended to the blob names for the segments published. | "" | | druid.azure.maxTries | Number of tries before canceling an Azure operation. | 3 | | druid.azure.protocol | The protocol to use to connect to the Azure Storage account. Either http or https . | https | | druid.azure.storageAccountEndpointSuffix | The Storage account endpoint to use. Override the default value to connect to Azure Government or storage accounts with Azure DNS zone endpoints . Do not include the storage account name prefix in this config value. Examples: ABCD1234.blob.storage.azure.net , blob.core.usgovcloudapi.net . | blob.core.windows.net |
인증 구성 (Configure authentication)
다음 방법 중 하나로 Azure Blob Storage에 대한 액세스를 인증하세요:
- SAS 토큰(SAS token)
- Shared Key
- 기본 Azure 자격 증명 체인(DefaultAzureCredential)
인증을 다음 속성으로 구성하세요:
| Property | Description | Default | | druid.azure.sharedAccessStorageToken | The SAS (Shared Storage Access) token. | | | druid.azure.key | The Shared Key. | | | druid.azure.useAzureCredentialsChain | If true , use DefaultAzureCredential for authentication. | false | | druid.azure.managedIdentityClientId | To use managed identity authentication in the DefaultAzureCredential , set useAzureCredentialsChain to true and provide the client ID here. | |
Azure에 태스크 로그 저장하기 (Persist task logs in Azure)
info
Azure Blob Storage에 태스크 로그를 저장하려면 druid.indexer.logs.type=azure로 설정하세요.
Druid는 세그먼트 저장에 구성된 스토리지 계정과 인증 방법을 사용해 태스크 로그를 저장해요. 태스크 로그를 저장할 위치를 설정하려면 다음 구성을 사용하세요:
| Property | Description | Default | | druid.indexer.logs.container | The Azure Blob Store container to write logs to. | Must be set. | | druid.indexer.logs.prefix | The path to prepend to logs. | Must be set. |
태스크 보존에 대한 일반 옵션은 Log retention policy를 참고하세요.