Jobs 개요

Jobs 개요

Hugging Face Jobs는 원격 CPU와 GPU에서 여러분의 코드를 실행해 주는 서비스예요. 모델 파인튜닝, 데이터셋 추론, 데이터 처리 같은 작업을 손쉽게 수행할 수 있어요.

출처: 문서

본문

Job은 선택한 하드웨어의 환경에서 명령어 하나를 실행하는 거예요. 실행 상태와 로그는 터미널이나 Hub에서 따라갈 수 있어요.

Quickstart로 첫 CPU·GPU Job을 실행해 보거나, 예제에서 자신의 워크로드에 맞는 것을 골라 보세요.

어디서든 Job 실행하기

Job을 실행할 수 있는 도구는 여러 가지가 있어요:

  • hf 커맨드 라인 인터페이스 (CLI 설치 단계와 Jobs CLI 문서 참고)
  • huggingface_hub 파이썬 클라이언트 (Jobs 문서 참고)
  • Jobs HTTP API (Jobs OpenAPI 참고)

어떤 워크로드든 실행하기

파이썬 스크립트: hf jobs uv run으로 파이썬 스크립트를 원격 실행해요. 의존성은 --with 또는 스크립트 헤더로 지정할 수 있어요. Jobs는 코드 실행 전에 uv로 의존성을 설치해 줘요.

- uv run <script.py>
+ hf jobs uv run <script.py>

Docker 이미지: hf jobs run으로 Docker 이미지와 실행할 명령어를 지정해요. 이미지가 작업에 필요한 도구와 라이브러리를 제공해 줘요. 기존 이미지를 고르거나, Docker Space에서 빌드하거나, 직접 만들 수도 있어요.

- docker run <image> <command>
+ hf jobs run <image> <command>

파라미터 튜닝, 추론, 데이터 처리 같은 작업은 여러 Job을 병렬로 실행할 수 있어요.

Job 자동화하기

스케줄이나 웹훅으로 Job을 자동 실행할 수 있어요.

스케줄로는 매 X분, 시간, 일, 주, 월 단위로 Job을 실행할 수 있어요. 스케줄링은 cron 문법(예: 매 5분마다 "*/5 * * * *")이나 "@hourly", "@daily", "weekly", "@monthly" 같은 별칭을 사용해요.

웹훅으로는 Hugging Face 저장소에 업데이트가 있을 때마다 Job을 실행할 수 있어요. 예를 들어 특정 계정 아래 모든 모델 업데이트에 웹훅을 연결하면, 웹훅 페이로드에서 업데이트된 모델을 가져와 Job에서 활용할 수 있어요.

더 알아보기 (Learn more)