Nemotron-4-340B 기술 보고서 — 합성 데이터 파이프라인
Nemotron-4-340B 기술 보고서 — 합성 데이터 파이프라인
NVIDIA는 Nemotron-4-340B를 발표하며 합성 데이터 생성(synthetic data generation) 파이프라인을 상세히 공개했어요. 이 보고서의 핵심은 "적은 수의 인간 주석 데이터로도 질 높은 훈련 데이터를 합성으로 대량 만들어낼 수 있다"는 것이에요.
왜 중요하나요
정렬 과정에서 인간 주석 데이터는 약 2만 개만 썼고, SFT·선호 최적화(DPO & RPO)에 쓴 데이터의 98% 이상을 합성으로 생성했어요. 이 파이프라인의 존재 자체가 연구자·개발자들이 자신만의 LLM을 만들 수 있는 길을 열어준다는 게 보고서의 강조점이에요.
엔비디아 오픈 모델 라이선스
- 모델은 상업적으로 사용 가능
- 파생 모델(Derivative Models) 생성·배포 자유
- 모델·파생 모델이 만든 출력물에 대한 소유권 주장 없음
커스터마이즈
Instruct 모델은 이후 NeMo Framework의 커스터마이즈 도구들로 더 다듬을 수 있어요.
- PEFT(Parameter-Efficient Fine-Tuning): P-tuning, Adapters, LoRA 등
- Model Alignment: SFT, SteerLM, RLHF 등 (NeMo-Aligner)