Tips and best practices
출처: 문서
본문
팁과 모범 사례
다음 팁들은 합성 데이터를 효율적으로 생성하고, 생성 과정에서 성능을 모니터링하는 데 도움이 돼요.
생성 과정 시각화
생성된 URL을 열면 데이터 생성 과정을 시각화해 주는 Dask 대시보드가 열려요. 각 워커의 CPU와 메모리 사용량을 모니터링하고, 생성 워크플로우의 CPU 플레임 그래프도 볼 수 있어요. 이를 통해 리소스 사용량을 추적하고 성능을 최적화할 수 있는데, 특히 커스텀 Python 모듈을 사용할 때 유용해요.
기본 설정 사용
합성 데이터 생성은 기본 설정으로 시작하는 것을 추천해요. 다음 가이드라인은 효율적이고 안정적인 합성 데이터 생성을 위해 적절한 설정을 고르는 데 도움이 돼요:
- 부하 생성 호스트에서 워커 수는 CPU 개수를 넘지 않게 설정하세요.
- 청크 하나당 10,000개 문서의 청크 크기를 사용하세요.
- 생성되는 각 파일에 기록되는 데이터 양을 조절하려면 필요에 따라
max_file_size_gb설정을 조정하세요.