NeMo DataDesigner — LLM 기반 합성 데이터 생성

NeMo DataDesigner — LLM 기반 합성 데이터 생성

NeMo DataDesigner 는 NVIDIA NeMo의 합성 데이터셋 생성 프레임워크예요. 통계 샘플러·LLM·기존 seed 데이터셋으로 다양하고 고품질인 데이터를 만들고, 필드 관계와 품질을 제어할 수 있어요.

설정

OpenAI 호환 엔드포인트를 지원해 Hugging Face Inference Providers의 어떤 모델이든 쓸 수 있어요.

from data_designer.essentials import (
    DataDesigner, DataDesignerConfigBuilder,
    SamplerColumnConfig, CategorySamplerParams,
    LLMTextColumnConfig, ModelConfig, ModelProvider,
    SamplerType,
)

hf_provider = ModelProvider(
    name="huggingface",
    endpoint="https://router.huggingface.co/v1",
    provider_type="openai",
    api_key="HF_TOKEN",          # 환경변수
)
hf_model = ModelConfig(alias="hf-gpt-oss", model="openai/gpt-oss-120b", provider="huggingface")
data_designer = DataDesigner(model_providers=[hf_provider])
config_builder = DataDesignerConfigBuilder(model_configs=[hf_model])

열 구성으로 데이터 만들기

샘플러 열과 LLM 생성 열을 조합해 스키마를 정의해요.

config_builder.add_column(SamplerColumnConfig(
    name="category", sampler_type=SamplerType.CATEGORY,
    params=CategorySamplerParams(values=["Electronics", "Books", "Clothing"]),
))
config_builder.add_column(LLMTextColumnConfig(
    name="product_name", model_alias="hf-gpt-oss",
    prompt="Generate a creative product name for a {{ category }} item.",
))

생성·업로드

preview() 로 샘플을 확인하고, create() 로 전체 생성 후 push_to_hub() 로 허브에 바로 올릴 수 있어요.

더 알아보기