Open R1 개요 — R1 파이프라인 완전 오픈 재현

Open R1 개요 — R1 파이프라인 완전 오픈 재현

Open R1은 DeepSeek-R1을 완전히 오픈으로 재현하려는 프로젝트예요. 작업 진행 중(work in progress)이고, 함께 만들어 가자는 취지의 저장소죠. 목표는 R1 파이프라인의 빠진 조각을 채워서 누구나 그 위에 재현하고 확장하게 하는 거예요.

출처: https://github.com/huggingface/open-r1/blob/main/README.md

구성은 단순해요.

  • src/open_r1/grpo.py: 주어진 데이터셋으로 GRPO로 모델을 학습시켜요.
  • src/open_r1/sft.py: 데이터셋으로 간단한 SFT(지도 미세조정)를 수행해요.
  • src/open_r1/generate.py: Distilabel로 모델에서 합성 데이터를 생성해요.
  • Makefile: 위 스크립트를 활용한 R1 파이프라인 각 단계의 쉽게 실행할 수 있는 명령을 담아요.

공격 계획은 DeepSeek-R1 기술 보고서를 가이드로 세 단계로 나눠요.

  1. Step 1: DeepSeek-R1에서 고품질 코퍼스를 증류해 R1-Distill 모델을 재현한다. (완료)
  2. Step 2: DeepSeek가 R1-Zero를 만드는 데 쓴 순수 RL 파이프라인을 재현한다. 수학·추론·코드용 대규모 데이터셋을 새로 큐레이션해야 할 가능성이 크다.
  3. Step 3: 베이스 모델에서 다단계 학습을 거쳐 RL 튜닝까지 이르는 길을 보여준다.

더 알아보기