OpenRLHF 개요 — 아키텍처와 문서 지도

OpenRLHF 문서는 "새 사용자는 설치와 첫 학습부터, 정신 모델은 아키텍처부터" 잡도록 구성돼 있어요. 대표 하이라이트는 싱글 턴 보상·멀티 턴 에이전트, HTTP 원격 RM, 커스텀 파이썬 보상 함수(RFT), vLLM을 OpenAI 호환 채팅 서버로 감싸는 방식이에요.

출처: https://openrlhf.readthedocs.io/en/latest/

문서 지도

대상	추천 페이지
새 사용자	Quick Start(설치 + 첫 학습)
정신 모델	Architecture Foundation(Ray + vLLM), Design Paradigm(Agent-Based Execution)
레시피 선택	RL Training Guide / Supervised & Preference Training(SFT/RM/DPO)
플래그 조회	Common CLI Options

더 알아보기

빠른 시작: https://openrlhf.readthedocs.io/en/latest/quick_start.html
아키텍처: https://openrlhf.readthedocs.io/en/latest/architecture.html