Hugging Face

Hugging Face

Hugging Face Inference Providers의 모델을 Docker Agent에서 사용하는 방법을 설명해요. 한 OpenAI 호환 엔드포인트로 여러 백엔드의 오픈 모델을 쓸 수 있어요.

출처: 문서

본문

Hugging Face Inference Providers는 오픈 모델(Llama, Qwen, DeepSeek, Kimi, GLM 등) 요청을 단일 OpenAI 호환 엔드포인트를 통해 여러 백엔드로 라우팅해 줘요. Docker Agent에는 Hugging Face를 기본 제공 alias 프로바이더로 지원하고 있어요.

설정

  • Hugging Face 토큰 설정에서 토큰을 만드세요.
export HF_TOKEN=your-token

사용법

인라인 문법

Hugging Face를 쓰는 가장 간단한 방법:

agents:
  root:
    model: huggingface/meta-llama/Llama-3.3-70B-Instruct
    description: Assistant using Hugging Face Inference Providers
    instruction: You are a helpful assistant.

네임드 모델 (Named Model)

파라미터를 더 세밀하게 제어하려면:

models:
  huggingface_model:
    provider: huggingface
    model: meta-llama/Llama-3.3-70B-Instruct
    temperature: 0.7
    max_tokens: 8192

agents:
  root:
    model: huggingface_model
    description: Assistant using Hugging Face Inference Providers
    instruction: You are a helpful assistant.

사용 가능한 모델

Hugging Face는 방대하고 계속 바뀌는 오픈웨이트 모델 카탈로그로 라우팅해요. 현재 모델 ID, 컨텍스트 제한, 가격은 Hugging Face 모델 페이지에서 확인하세요.

모델 설명
meta-llama/Llama-3.3-70B-Instruct Llama 3.3 70B, 범용 채팅과 도구 호출
Qwen/Qwen3-235B-A22B Qwen3 235B mixture-of-experts instruct 모델
deepseek-ai/DeepSeek-V3.2 DeepSeek, 강력한 코딩과 추론

모델 ID는 대소문자를 구분하고 카탈로그가 나열하는 방식 그대로 전달해야 해요.

동작 방식

Hugging Face는 Docker Agent의 기본 제공 alias로 구현돼 있어요:

Hugging Face는 채팅 템플릿이 하나보다 많은 선행 시스템 메시지를 거부할 수 있는 오픈웨이트 모델을 앞세우기 때문에, Docker Agent는 이 프로바이더에서 소스별 시스템 메시지를 하나로 합쳐 줘요.

예시: 코드 어시스턴트

agents:
  coder:
    model: huggingface/Qwen/Qwen3-Coder-480B-A35B-Instruct
    description: Code assistant using Qwen3 Coder on Hugging Face
    instruction: |
      You are an expert programmer.
      Write clean, well-documented code and follow language best practices.
    toolsets:
      - type: filesystem
      - type: shell
      - type: think

더 알아보기 (Learn more)