예제와 튜토리얼
예제와 튜토리얼
Jobs로 학습하는 방법을 안내하는 가이드 모음이에요. 텍스트 분류, 요약, 이미지 분류, NER, 음성 인식 등 다양한 작업을 Jobs에서 바로 실행할 수 있어요.
출처: 문서
본문
Jobs로 학습하는 가이드
인기 라이브러리를 Jobs에 활용하는 가이드:
- Training with TRL on Jobs - TRL과 TRL Jobs로 SFT, GRPO, DPO 등을 실행해요.
- Fine-tune with Unsloth on Jobs - Unsloth로 학습을 약 2배 빠르게, VRAM을 약 60% 적게 써요.
- Transformers example scripts - UV 호환 학습 스크립트로 텍스트 분류, 요약, 이미지 분류, NER, 음성 인식 등을 Jobs에서 바로 실행해요:
hf jobs uv run --flavor a10g-small --secrets HF_TOKEN \
https://raw.githubusercontent.com/huggingface/transformers/main/examples/pytorch/image-classification/run_image_classification.py \
--model_name_or_path google/vit-base-patch16-224-in21k \
--dataset_name ethz/food101 \
--output_dir vit-food101 \
--push_to_hub
대규모 데이터 처리
DataTrove는 데이터 처리 파이프라인을 Job 풀에 분산 배포하는 실험적인 JobsPipelineExecutor를 제공해요. 동시성 제한, 다단계 의존성, 재시도, 이어서 실행(resumable run)을 지원해요 — 파이프라인을 다시 실행하면 이미 완료된 작업은 건너뛰고 남은 작업만 실행해요.
바로 실행할 수 있는 예제:
UV 스크립트
uv-scripts 조직은 Jobs에서 한 줄로 실행되는 독립형 uv 스크립트 컬렉션을 관리해요. 스크립트는 OCR, 배치 추론, 텍스트 분류, 객체 탐지, 데이터셋 통계, 임베딩 시각화 등을 다뤄요.
Unsloth도 Jobs에서 LLM·VLM 파인튜닝용 바로 실행 가능한 학습 스크립트를 제공해요.
코딩 에이전트 스킬
Claude Code, Codex, Cursor 같은 코딩 에이전트가 여러분을 대신해 Job을 제출·모니터링할 수 있어요. 설치된 CLI에서 생성해 항상 최신 상태를 유지하는 hf CLI 스킬을 설치하세요:
hf skills add
에이전트별 설정은 Hugging Face CLI for AI agents, 학습 및 기타 워크플로 스킬은 Agent Skills를 참고하세요.
샌드박스
Jobs의 포트 노출 기능 덕분에 Jobs는 에이전트와 LLM 애플리케이션이 쓰는 임시 독립 환경인 샌드박스를 만드는 데 아주 좋아요.
커뮤니티 튜토리얼과 프로젝트
- Train on massive datasets without downloading - Unsloth로 로컬 저장소 없이 데이터셋을 Jobs에서 바로 스트리밍해요.
- Fine-tune a vision-language model with TRL - TRL과 Jobs로 미술사 작업용 Qwen2.5-VL을 파인튜닝해요.
- FreeFlow - YOLOv11 객체 탐지 모델 학습을 위한 Jobs 통합이 내장된 오픈소스 어노테이션 플랫폼이에요.
Jobs를 쓰는 튜토리얼이나 프로젝트가 있다면 PR을 열어 추가해 주세요.
더 알아보기 (Learn more)
- Jobs Overview로 Jobs 기본 개념을 익혀 보세요.
- Hugging Face CLI for AI agents로 코딩 에이전트에 Jobs를 연결해 보세요.