transformers serve + tiny-agents — 로컬 MCP 에이전트 만들기

transformers serve + tiny-agents — 로컬 MCP 에이전트 만들기

tiny-agents는 도구를 쓰는 에이전트를 만들기 위한 최소 패턴이에요. 작은 파이썬 루프가 MCP 클라이언트를 MCP 서버의 도구에 연결해 줍니다. Hugging Face Spaces가 MCP 서버 역할을 하죠.

출처: https://huggingface.co/docs/transformers/en/serve-cli/tiny_agents

설정 파일 작성

로컬 모델과 도구 서버를 가리키는 설정 파일을 만듭니다. 아래 예시는 이미지 생성 Space를 도구로 쓰는 설정이에요.

{
    "model": "Menlo/Jan-nano",
    "endpointUrl": "http://localhost:8000",
    "servers": [
        {
            "type": "sse",
            "url": "https://evalstate-flux1-schnell.hf.space/gradio_api/mcp/sse"
        }
    ]
}

에이전트 실행

백그라운드에서 transformers serve가 떠 있는 상태로 설정 파일을 넘겨 실행하면, 로컬 모델이 이미지 생성 도구를 호출합니다.

tiny-agents run path/to/your/config.json

Agent loaded with 1 tools:
 • flux1_schnell_infer
»  Generate an image of a cat on the moon
<Tool req_0_tool_call>flux1_schnell_infer {"prompt": "a cat on the moon", "seed": 42, "randomize_seed": true, "width": 1024, "height": 1024, "num_inference_steps": 4}

이 패턴은 하나의 설정 파일로 로컬 LLM과 외부 MCP 도구를 이어주는 가장 가벼운 형태라, 도구 사용 에이전트를 직접 만드는 데 좋은 출발점이 됩니다.

더 알아보기