가드레일 공급자: Akto

가드레일 공급자: Akto

Akto를 가드레일 공급자로 사용해 프록시를 통과하는 모든 LLM 트래픽에 런타임 보안을 활성화해요. Akto는 자율·에이전트 AI 시스템을 보호하도록 특수 제작됐으며, 모든 요청과 응답을 인라인으로 검사하고 상호작용을 위험 점수화하며, 유해한 행동·데이터 노출·안전하지 않은 동작이 발생하기 전에 차단하도록 정책 결정을 강제해요.

출처: 문서

본문

Akto의 핵심 기능:

• 에이전트 AI 발견 (Agentic AI Discovery) - 클라우드 환경 전반에서 AI 에이전트, MCP 서버, GenAI 애플리케이션을 자동 발견
• 지속적 AI 레드팀 (Continuous AI Red Teaming) - 프롬프트 인젝션, 도구 오남용, 정책 우회, 신흥 공격 패턴 같은 위험을 식별하기 위해 4,000개 이상의 AI 특화 프로브를 CI/CD에서 실행
• 런타임 가드레일 (Runtime Guardrails) - 프롬프트 인젝션, 젤브레이크, 민감 데이터 유출, 무단 도구 사용, 스키마 위반 등을 다루는 구성 가능한 정책 강제
• AI 보안 포스처 관리 (AI Security Posture Management) - OWASP GenAI, NIST AI RMF, MITRE ATLAS를 포함한 10+ 표준 지원과 함께 위험 점수, 컴플라이언스 격차, 보안 지표에 대한 통합 가시성

akto 통합은 두 항목 가드레일 패턴을 사용해요:

• akto-validate (pre_call): 요청이 LLM에 도달하기 전에 보안 정책에 대해 검증
• akto-ingest (post_call): 모니터링·분석을 위해 요청과 응답을 Akto로 수집

빠른 시작 (Quick Start)

1. Akto 자격 증명 얻기

Akto Guardrail API Service를 설정하고 다음을 확보하세요:

• AKTO_GUARDRAIL_API_BASE — Guardrail API Base URL
• AKTO_API_KEY — API 키

2. config.yaml에서 구성

차단 + 수집 (권장) (Block + Ingest)

아래 두 항목을 모두 사용하세요. 이를 통해:

• 사전 호출 차단 결정
• 허용된 트래픽에 대한 사후 호출 수집

이 둘을 두 개의 분리된 항목(akto-validate, akto-ingest)으로 유지하세요.

guardrails:
  - guardrail_name: "akto-validate"
    litellm_params:
      guardrail: akto
      mode: pre_call
      akto_base_url: os.environ/AKTO_GUARDRAIL_API_BASE
      akto_api_key: os.environ/AKTO_API_KEY
      default_on: true
      unreachable_fallback: fail_closed   # optional: fail_open | fail_closed (default: fail_closed)
      guardrail_timeout: 5                # optional, default: 5
      akto_account_id: "1000000"         # optional, env fallback: AKTO_ACCOUNT_ID
      akto_vxlan_id: "0"                 # optional, env fallback: AKTO_VXLAN_ID
  - guardrail_name: "akto-ingest"
    litellm_params:
      guardrail: akto
      mode: post_call
      akto_base_url: os.environ/AKTO_GUARDRAIL_API_BASE
      akto_api_key: os.environ/AKTO_API_KEY
      default_on: true

모니터 전용 모드 (Monitor-only mode)

로깅/수집만 원하고 차단은 원하지 않으면 akto-ingest만 유지하세요.

guardrails:
  - guardrail_name: "akto-ingest"
    litellm_params:
      guardrail: akto
      mode: post_call
      akto_base_url: os.environ/AKTO_GUARDRAIL_API_BASE
      akto_api_key: os.environ/AKTO_API_KEY
      default_on: true

3. 테스트 요청

curl -i http://localhost:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer *** litellm key>" \
  -d '{
    "model": "gpt-5.6-luna",
    "messages": [
      {"role": "user", "content": "Hello, how are you?"}
    ]
  }'

요청이 차단되면:

{
  "error": {
    "message": "Prompt injection detected",
    "type": "None",
    "param": "None",
    "code": "403"
  }
}

동작 방식 (How It Works)

LLM 요청이 도착하면 Akto 커넥터가 페이로드를 Akto Guardrail Engine에 넘기고, 이를 입력 정책에 대해 평가해 판정을 반환해요. 승인된 요청은 LLM 공급자로 전달돼요. 응답은 호출자에게 전달되기 전에 출력 가드레일 검사를 위해 엔진을 다시 통과해요. 모든 결정은 모니터링, 위협 분석, 수정을 위해 Akto 대시보드로 흘러가요.

차단 + 수집 모드:

Request → LiteLLM → Akto guardrail check  → Allowed  → forward to LLM → ingest response  → Blocked  → ingest blocked marker → 403 error

모니터 전용 모드:

Request → LiteLLM → forward to LLM → get response  → Send to Akto (guardrails + ingest) → log only

이벤트 동작 (Event Behavior)

pre_call에서 차단되면 LiteLLM은 차단 메타데이터가 있는 파이어앤포겟 ingest 페이로드를 하나 보내고 403을 반환해요.

지원되는 파라미터 (Supported Parameters)

오류 처리 (Error Handling)

Akto 팀에 문의하고 싶다면 [email protected]로 연락하세요.