Distilabel — 검증된 연구 논문 기반 합성 데이터·AI 피드백 프레임워크
Distilabel
LLM 파인튜닝에 쓸 고품질 데이터를 대량으로 만들려면, 단순히 생성만으론 부족하고 검증된 방법으로 생성·판정해야 해요. Distilabel은 검증된 연구 논문에 기반한 합성 데이터(synthetic data)와 AI 피드백(AI feedback)을 위한 Python 프레임워크예요. steps, tasks, llms를 정의하고 Pipeline을 실행해 데이터를 생성·평가하며, 확장 가능하고 내결함성 있는 파이프라인을 구축하게 해줘요. Argilla 팀이 만들고, 데이터 품질에 집중하게 만드는 게 목표예요.
이 카테고리의 문서
- 개요: Why use distilabel과 데이터 품질 접근
- 튜토리얼: 논문 구현·엔드투엔드 예제
- 저장소: 설치·커뮤니티·인용