Confident Agent

Confident Agent

인바운드 포트를 열지 않고 방화벽 뒤의 내부 AI 엔드포인트에 연결하는 브리지 에이전트예요. Confident AI의 평가 서버가 방화벽 뒤의 내부 API 엔드포인트에 도달할 수 있게 해주는 가벼운 브리지 에이전트로, 인바운드 포트를 열 필요가 없어요. AI Connections의 일부로 제공되는 기능이에요.

출처: 문서

본문

GitHub Repository

소스 코드를 보고, 이슈를 제보하고, 최신 릴리스를 확인하세요.

동작 방식 (How It Works)

에이전트는 WebSocket Secure (WSS)로 아웃바운드 연결을 맺어 Confident AI의 평가 서버에 접속하고 작업을 기다려요. 평가가 실행되면 요청이 WebSocket 터널을 통해 내부 엔드포인트로 전달되고, 응답은 다시 릴레이돼요.

엔드포인트가 아예 없나요?

HTTP 엔드포인트가 없는 AI 앱은 Handler Mode를 사용하세요. 작은 handler 함수를 구현하면 에이전트가 URL로 전달하는 대신 그 함수를 로컬에서 실행해요.

Confident Agent는 다음 응답 모드를 지원해요.

• HTTP Response — 표준 JSON 응답
• HTTP Streaming — 청크 단위 HTTP 스트리밍 응답
• SSE Streaming — Server-Sent Events 스트리밍 응답

sequenceDiagram
    participant E as Your Internal Endpoint
    participant A as Confident Agent
    participant C as Confident AI

    A->>C: Connect outbound (WSS/443)
    Note over A,C: WebSocket tunnel established

    C->>A: Forward evaluation request
    A->>E: Call internal endpoint
    E-->>A: Return response
    A-->>C: Relay response back
    Note over C: Evaluation continues

요구사항 (Requirements)

• 에이전트를 실행하는 머신에서 포트 443 (WSS)의 아웃바운드 인터넷 접근
• 에이전트에서 내부 API 엔드포인트로의 네트워크 접근
• 인바운드 포트를 열 필요 없음

Air-Gapped 환경

에어갭 또는 이그레스(egress) 제한 네트워크에서 실행 중인가요? air-gapped 설정 가이드를 따라 이미지를 배포하고 아웃바운드 WSS 허용 목록을 구성하세요.

빠른 시작 (Quick Start)

Docker 컨테이너 (CLI)

에이전트를 Docker 컨테이너로 실행해요.

docker run -d \
  -e CONFIDENT_API_KEY=<your-api-key> \
  -e CONFIDENT_WS_BASE_URL=wss://deepeval.confident-ai.com/ws/relay \
  confidentai/confident-agent

Docker Compose

compose.yaml 파일을 만드세요.

services:
  confident-agent:
    image: confidentai/confident-agent
    restart: unless-stopped
    environment:
      - CONFIDENT_API_KEY=${CONFIDENT_API_KEY}
      - CONFIDENT_WS_BASE_URL=${CONFIDENT_WS_BASE_URL:-wss://deepeval.confident-ai.com/ws/relay}

그런 다음 에이전트를 시작해요.

docker compose up -d

네이티브 패키지 (Native Packages)

Docker를 쓰고 싶지 않나요? 에이전트는 네이티브 패키지로도 배포돼요 — 모든 언어에서 동일한 동작과 구성을 가져요.

# Python
pip install confident-agent
CONFIDENT_API_KEY=<your-api-key> confident-agent

# TypeScript / Node
npm install -g confident-agent
CONFIDENT_API_KEY=<your-api-key> confident-agent

# Rust
cargo install confident-agent
CONFIDENT_API_KEY=<your-api-key> confident-agent

Go (go get github.com/confident-ai/confident-agent/go)와 Java (com.confident-ai:confident-agent on Maven Central)는 라이브러리로 배포돼요. 패키지를 import 하고 자체 엔트리 포인트에서 에이전트를 시작하면 돼요. 자세한 내용은 GitHub repository의 각 폴더 README를 참고하세요.

환경 변수 (Environment Variables)

AI Connections와 함께 사용하기 (Using with AI Connections)

Confident Agent가 실행되고 연결되면, AI Connections이 공개적으로 접근할 수 없는 내부 엔드포인트를 타깃으로 할 수 있어요. 에이전트는 Confident AI 평가 서버의 요청을 내부 엔드포인트로 투명하게 터널링해요. AI connection을 내부 URL로 가리키는 것 외에 구성 변경은 필요 없어요.

에이전트는 재연결을 자동으로 처리해요. WebSocket 연결이 끊어지면 수동 개입 없이 터널을 다시 맺어요.

더 알아보기 (Learn more)

• Handler Mode