Expanding a workload's data corpus

원문 보기 위키 갱신 2026.10.14

출처: 문서

본문

워크로드 데이터 코퍼스 확장하기

이 튜토리얼에서는 expand-data-corpus.py 스크립트를 사용해서 OpenSearch Benchmark 워크로드의 데이터 코퍼스 크기를 늘리는 방법을 알려줘요. 대규모 OpenSearch 클러스터에서 http_logs 워크로드를 실행할 때 유용할 수 있어요.

이 스크립트는 http_logs 워크로드에서만 작동해요. {: .warning}

사전 준비 사항

이 튜토리얼을 사용하려면 다음 사전 준비 사항을 충족해야 해요:

Python 3.x 이상을 설치했어요.
http_logs 워크로드 데이터 코퍼스가 OpenSearch Benchmark를 실행하는 부하 생성 호스트에 이미 저장되어 있어요.

스크립트 이해하기

expand-data-corpus.py 스크립트는 http_logs 워크로드 코퍼스의 기존 문서를 복제하고 수정하여 더 큰 데이터 코퍼스를 생성하도록 설계되었어요. 다른 필드는 그대로 유지하면서 주로 타임스탬프 필드를 조정해요. 또한 오프셋 파일을 생성하여 OpenSearch Benchmark가 더 빠르게 시작될 수 있도록 해요.

`expand-data-corpus.py` 사용하기

expand-data-corpus.py를 사용하려면 다음 구문을 사용해요:

```bash
./expand-data-corpus.py [options]


스크립트는 여러 사용자 지정 옵션을 제공해요. 다음은 가장 일반적으로 사용되는 옵션이에요:

- `--corpus-size`: 원하는 코퍼스 크기(GB)
- `--output-file-suffix`: 출력 파일 이름의 접미사

## 예시

다음 예시 스크립트 명령어는 100GB 코퍼스를 생성해요:

./expand-data-corpus.py --corpus-size 100 --output-file-suffix 100gb


스크립트가 문서 생성을 시작해요. 100GB 코퍼스의 경우 전체 코퍼스를 생성하는 데 최대 30분이 걸릴 수 있어요.

출력 접미사를 다르게 하여 스크립트를 여러 번 실행하면 여러 코퍼스를 생성할 수 있어요. 스크립트로 생성된 모든 코퍼스는 인젝션 중에 OpenSearch Benchmark에서 순차적으로 사용돼요.

## 문서 확인하기

스크립트가 완료된 후 다음 위치에서 새 파일을 확인해요:

- OpenSearch Benchmark 데이터 디렉터리의 `http_logs`에서:
   - `documents-100gb.json`: 생성된 코퍼스
   - `documents-100gb.json.offset`: 관련 오프셋 파일

- `http_logs` 워크로드 디렉터리에서:
   - `gen-docs-100gb.json`: 생성된 코퍼스의 메타데이터
   - `gen-idx-100gb.json`: 생성된 코퍼스의 인덱스 사양

## 테스트에서 코퍼스 사용하기

새로 생성된 코퍼스를 OpenSearch Benchmark 테스트에서 사용하려면 다음 구문을 사용해요:

opensearch-benchmark run --workload http_logs --workload-params=generated_corpus:t [other_options]


`generated_corpus:t` 매개변수는 OpenSearch Benchmark에 확장된 코퍼스를 사용하도록 지시해요. 추가 워크로드 매개변수는 `--workload-params` 옵션에서 쉼표를 사용하여 추가할 수 있어요.

## 고급 설정

`--help`를 사용하여 스크립트에서 지원하는 모든 옵션을 확인해요. 다음 고급 설정은 코퍼스 구조에 영향을 줄 수 있으므로 주의해서 사용해요:

- `-f`: 새 문서 생성을 위한 기준으로 사용할 입력 파일을 지정해요
- `-n`: 코퍼스 크기 대신 생성할 문서 수를 설정해요
- `-i`: 연속 타임스탬프 간의 간격을 정의해요
- `-t`: 생성된 문서의 시작 타임스탬프를 설정해요
- `-b`: 오프셋 파일에 쓸 때 배치당 문서 수를 정의해요

## 더 알아보기 (Learn more)

- 원문 전체: https://docs.opensearch.org/latest/benchmark/expand-data-corpus/

Expanding a workload's data corpus

본문

워크로드 데이터 코퍼스 확장하기

사전 준비 사항

스크립트 이해하기

expand-data-corpus.py 사용하기

함께 읽는 실무 이야기

`expand-data-corpus.py` 사용하기