verl 설치와 요구사항 — 시작하기
verl 설치와 요구사항 — 시작하기
verl을 로컬에서 시작하려면 설치 가이드를 따라 환경을 준비하면 돼요. NVIDIA GPU + CUDA 환경을 기본으로 하며, Python과 PyTorch를 필요로 해요.
요구사항
- 하드웨어: 최소한의 테스트용 GPU부터 클러스터 규모까지. RL 훈련은 액터·크리틱/리워드 모델을 함께 올리므로 메모리 여유가 중요해요.
- 소프트웨어: Python 3.x, CUDA 호환 PyTorch, 그리고 vLLM/SGLang 같은 추론 백엔드(옵션).
설치 흐름
패키지 설치 후, ray 같은 분산 런타임이 RL 워커를 조율해요. main_ppo.py 같은 진입점으로 PPO/GRPO 훈련을 시작할 수 있어요. FSDP2 / Megatron-LM 등 백엔드별 추가 의존성은 확장 가이드에서 다뤄져요.
팁
시작은 소규모 더미 모델로 파이프라인을 검증한 뒤, 진짜 모델·데이터로 확장하는 걸 권장해요. Nsight/PyTorch 프로파일러로 통신·계산을 분석하는 성능 가이드도 함께 참고하면 좋아요.