TrueFoundry 통합

TrueFoundry 통합 (TrueFoundry Integration)

TrueFoundry는 CrewAI 같은 에이전틱 프레임워크와 통합할 수 있고 AI 애플리케이션에 거버넌스와 옵저버빌리티를 제공하는 엔터프라이즈 레디 AI Gateway를 제공해요. TrueFoundry AI Gateway는 LLM 접근을 위한 통합 인터페이스 역할을 해요.

출처: 문서

본문

TrueFoundry는 CrewAI 같은 에이전틱 프레임워크와 통합할 수 있고 AI 애플리케이션에 거버넌스와 옵저버빌리티를 제공하는 엔터프라이즈 레디 AI Gateway를 제공해요. TrueFoundry AI Gateway는 LLM 접근을 위한 통합 인터페이스 역할을 해요:

  • Unified API Access — 하나의 API로 250개 이상의 LLM(OpenAI, Claude, Gemini, Groq, Mistral)에 연결.
  • Low Latency — 지능형 라우팅과 로드 밸런싱으로 3ms 미만의 내부 지연.
  • Enterprise Security — RBAC와 감사 로깅을 포함한 SOC 2, HIPAA, GDPR 규정 준수.
  • Quota and cost management — 토큰 기반 할당량, 속도 제한, 종합적인 사용량 추적.
  • Observability — 커스터마이즈 가능한 보존 기간의 전체 요청/응답 로깅, 메트릭, 트레이스.

How TrueFoundry Integrates with CrewAI

Installation & Setup

  1. CrewAI 설치 
    pip install crewai
  2. TrueFoundry Access Token 받기 — TrueFoundry 계정에 가입하고, Quick start의 단계를 따르세요.
  3. TrueFoundry로 CrewAI 구성 
    from crewai import LLM

# Create an LLM instance with TrueFoundry AI Gateway
truefoundry_llm = LLM(
    model="openai-main/gpt-4o",  # Similarly, you can call any model from any provider
    base_url="your_truefoundry_gateway_base_url",
    api_key="your_truefoundry_api_key"
)

# Use in your CrewAI agents
from crewai import Agent

@agent
def researcher(self) -> Agent:
    return Agent(
        config=self.agents_config['researcher'],
        llm=truefoundry_llm,
        verbose=True
    )

Complete CrewAI Example

from crewai import Agent, Task, Crew, LLM

# Configure LLM with TrueFoundry
llm = LLM(
    model="openai-main/gpt-4o",
    base_url="your_truefoundry_gateway_base_url", 
    api_key="your_truefoundry_api_key"
)

# Create agents
researcher = Agent(
    role='Research Analyst',
    goal='Conduct detailed market research',
    backstory='Expert market analyst with attention to detail',
    llm=llm,
    verbose=True
)

writer = Agent(
    role='Content Writer', 
    goal='Create comprehensive reports',
    backstory='Experienced technical writer',
    llm=llm,
    verbose=True
)

# Create tasks
research_task = Task(
    description='Research AI market trends for 2024',
    agent=researcher,
    expected_output='Comprehensive research summary'
)

writing_task = Task(
    description='Create a market research report',
    agent=writer,
    expected_output='Well-structured report with insights',
    context=[research_task]
)

# Create and execute crew
crew = Crew(
    agents=[researcher, writer],
    tasks=[research_task, writing_task],
    verbose=True
)

result = crew.kickoff()

Observability and Governance (옵저버빌리티와 거버넌스)

TrueFoundry의 metrics 탭으로 CrewAI 에이전트를 모니터링하세요. TrueFoundry의 AI gateway로 다음을 모니터링·분석할 수 있어요:

  • Performance Metrics — P99, P90, P50 백분위수를 포함한 Request Latency, Time to First Token (TTFS), Inter-Token Latency (ITL) 같은 핵심 지연 메트릭 추적.
  • Cost and Token Usage — 각 모델의 입력/출력 토큰과 관련 비용에 대한 상세 분석으로 애플리케이션 비용에 대한 가시성 확보.
  • Usage Patterns — 사용자 활동, 모델 분포, 팀 기반 사용량에 대한 상세 분석으로 애플리케이션 사용 방식을 이해.
  • Rate limit and Load balancing — 모델에 대한 속도 제한, 로드 밸런싱, 폴백 설정.

Tracing (트레이싱)

트레이싱에 대한 더 자세한 내용은 getting-started-tracing을 참조하세요. 트레이싱을 위해 Traceloop SDK를 추가할 수 있어요:

pip install traceloop-sdk

from traceloop.sdk import Traceloop

# Initialize enhanced tracing
Traceloop.init(
    api_endpoint="https://your-truefoundry-endpoint/api/tracing",
    headers={
        "Authorization": f"Bearer {your_truefoundry_pat_token}",
        "TFY-Tracing-Project": "your_project_name",
    },
)

이것은 전체 CrewAI 워크플로우에 걸쳐 추가적인 트레이스 상관관계를 제공해요.

더 알아보기 (Learn more)