Post-Training Integration
Post-Training Integration (포스트 트레이닝 통합)
이 페이지는 SGLang이 현대 LLM 훈련 프레임워크의 사실상(de facto) 추론 백엔드로 어떻게 자리 잡았는지를 설명해요. GLM-4.6부터 Qwen3까지, 최신 모델들이 강화 학습(reinforcement learning)과 포스트 트레이닝(post-training) 워크플로우에서 SGLang의 고성능 추론을 활용하고 있어요. SGLang이 포스트 트레이닝에 필수적인 이유와 이를 채택한 주요 프레임워크들을 소개해요.
출처: 문서
본문
SGLang은 현대 LLM 훈련 프레임워크의 사실상(de facto) 추론 백엔드가 되어, 업계 전반의 최신 모델들을 지원하고 있어요. GLM-4.6부터 Qwen3까지, 선도적인 모델들이 강화 학습과 포스트 트레이닝 워크플로우에서 SGLang의 고성능 추론을 활용해요.
SGLang이 포스트 트레이닝에 필수적인 이유는 무엇일까요?
- Open-To-Use Refit 기능: colocate 또는 disaggregate를 위한 다양한 방법 제공
- 쉬운 생성 지연(Easy To Postpone Generation): 부분 롤아웃(partial rollout)과 전용 롤아웃 제어 지원
- 세밀한 엔진 절전/깨우기(Fine-Grained Engine Sleep And Wake Up): 최대 성능의 롤아웃과 훈련 지원
- 훈련-서빙 정렬(Training Serving Alignment): 훈련과 서빙 간 성능 일관성 보장
- 로드 밸런싱 라우터(Load Balancing Router): 캐시 인지(cache-aware) 로드 밸런싱으로 높은 처리량의 롤아웃 지원
- 결정적 추론(Deterministic Inference): 롤아웃과 훈련 간 제로 KL 발산(kl divergence) 보장
이러한 기능들은 주요 프레임워크 전반의 네이티브 통합 지원과 결합되어, SGLang을 현대 LLM/VLM 포스트 트레이닝의 인프라 기반으로 자리 잡게 했어요. 또한 최신 작업을 Optimizing Large-Scale RL with SGLang 슬라이드에서 공유하고 있어요.
도입 사례 (Adoption)
- Miles: 대규모 MoE 모델을 위한 엔터프라이즈급 RL 프레임워크. SGLang 네이티브 롤아웃, 스큘래티브 훈련(speculative training), 프로덕션급 안정성을 제공해요.
- slime: Megatron과 SGLang을 결합한 포스트 트레이닝 프레임워크. GLM-4.6 훈련에 사용됐어요.
- AReaL: 완전 비동기(asynchronous) RL 시스템. SGLang 백엔드를 연속 롤아웃 생성에 사용해 2.77배 속도 향상을 달성했어요.
- ROLL: 대규모 GPU 자원을 활용하는 대규모 언어 모델을 위한 효율적이고 사용자 친화적인 RL 라이브러리예요.
- verl: PPO, GRPO, ReMax를 지원하는 풀스택 RLHF 프레임워크. 모듈형 SGLang 통합을 제공해요.
- Unsloth: 최적화된 커널로 2배 빠른 파인튜닝을 제공하며, SGLang 추론과 원활하게 배포돼요.
- LLaMA Factory: LoRA, QLoRA, 전체 파인튜닝 방식으로 100개 이상의 LLM을 훈련하는 통합 프레임워크예요.
- Tunix: Google의 JAX 네이티브 LLM 포스트 트레이닝 라이브러리. SFT, DPO, PPO, GRPO를 지원해요.
- RL2: Ray Less Reinforcement Learning. 대규모 언어 모델 포스트 트레이닝을 위한 간결한 라이브러리예요.
협업 (Collaboration)
설계 파트너들의 개인정보 보호로 인해 SGLang을 포스트 트레이닝에 채택한 회사들을 나열할 수 없어요. 하지만 관심이 있다면, 미국과 중국의 10개 이상의 최고 기업과 최첨단 연구소가 선택한 이 기술의 세부 사항을 기꺼이 공유할게요. SGLang을 여러분의 훈련 프레임워크와 통합하고 싶거나 기술 지원이 필요하다면, 파트너십, 통합 안내, 맞춤 기능 개발을 위해 [email protected] 로 연락해 주세요.