corpora element
출처: 문서
본문
corpora element
corpora 요소는 워크로드에서 사용하는 모든 문서 코퍼스를 포함해요. 코퍼스 정의를 복사하여 붙여넣으면 여러 워크로드에서 문서 코퍼스를 사용할 수 있어요.
Example
다음 예시는 movies라는 단일 코퍼스를 정의하며, 11658903개의 문서와 1544799789개의 압축되지 않은 바이트를 포함해요.
"corpora": [
{
"name": "movies",
"documents": [
{
"source-file": "movies-documents.json",
"document-count": 11658903, # Fetch document count from command line
"uncompressed-bytes": 1544799789 # Fetch uncompressed bytes from command line
}
]
}
]
Configuration options
corpora와 함께 다음 옵션을 사용해요.
| Parameter | Required | Type | Description |
|---|---|---|---|
name |
Yes | String | 문서 코퍼스의 이름이에요. OpenSearch Benchmark는 이 이름을 디렉터리에 사용하므로, 공백 없이 소문자만 사용하세요. |
documents |
Yes | JSON array | 문서 파일의 배열이에요. |
meta |
No | String | 코퍼스에 대한 추가 메타데이터가 있는 키-값 쌍의 매핑이에요. |
documents 배열의 각 항목은 다음 옵션으로 구성돼요.
| Parameter | Required | Type | Description |
|---|---|---|---|
source-file |
Yes | String | 워크로드에 해당하는 문서가 포함된 파일 이름이에요. OpenSearch Benchmark를 로컬에서 사용할 때 문서는 JSON 파일에 포함돼요. base_url을 제공하는 경우 압축 파일 형식(.zip, .bz2, .gz, .tar, .tar.gz, .tgz, .tar.bz2)을 사용하세요. 압축 파일에는 이름을 포함하는 하나의 JSON 파일이 있어야 해요. |
document-count |
Yes | Integer | source-file의 문서 수이며, 각 클라이언트 인덱스가 문서 코퍼스의 어떤 부분과 연관되는지 결정해요. 각 N번째 클라이언트는 문서 코퍼스의 N번째 부분을 받아요. 부모/자식 관계가 있는 문서를 포함하는 소스를 사용할 때는 부모 문서의 수를 지정하세요. |
base-url |
No | String | OpenSearch Benchmark가 해당 소스 파일을 가져올 수 있는 루트 경로를 가리키는 http(s), Amazon Simple Storage Service(Amazon S3) 또는 Google Cloud Storage URL이에요. |
source-format |
No | String | OpenSearch Benchmark가 source-file에 지정된 데이터 파일을 해석하는 데 사용하는 형식을 정의해요. bulk만 지원돼요. |
compressed-bytes |
No | Integer | 압축된 소스 파일의 크기(바이트)이며, OpenSearch Benchmark가 다운로드하는 데이터 양을 나타내요. |
uncompressed-bytes |
No | Integer | 압축 해제 후 소스 파일의 크기(바이트)이며, 압축 해제된 소스 파일에 필요한 디스크 공간을 나타내요. |
target-index |
No | String | bulk 작업이 대상으로 해야 하는 인덱스의 이름을 정의해요. indices 요소에 하나의 인덱스만 정의된 경우 OpenSearch Benchmark가 이 값을 자동으로 유도해요. includes-action-and-meta-data 설정이 true인 경우 target-index 값은 무시돼요. |
target-type |
No | String | 벌크 작업에서 대상이 되는 대상 인덱스의 문서 유형을 정의해요. indices 요소에 하나의 인덱스만 정의되고 해당 인덱스에 하나의 유형만 있는 경우 OpenSearch Benchmark가 이 값을 자동으로 유도해요. includes-action-and-meta-data 설정이 true인 경우 target-type 값은 무시돼요. |
includes-action-and-meta-data |
No | Boolean | true로 설정하면 문서 파일에 이미 action 줄과 meta-data 줄이 포함되어 있음을 나타내요. false이면 문서 파일에 문서만 포함되어 있음을 나타내요. 기본값은 false예요. |
meta |
No | String | 코퍼스에 대한 추가 메타데이터가 있는 키-값 쌍의 매핑이에요. |