Braintrust 통합

Braintrust 통합 (Braintrust Integration)

이 가이드는 종합적인 트레이싱과 평가를 위해 OpenTelemetry로 Braintrust를 CrewAI와 통합하는 방법을 보여줘요. 이 가이드를 끝내면 CrewAI 에이전트를 트레이스하고, 성능을 모니터링하며, Braintrust의 강력한 옵저버빌리티 플랫폼으로 출력을 평가할 수 있어요.

출처: 문서

본문

Braintrust란 무엇인가요? Braintrust는 AI 평가·옵저버빌리티 플랫폼으로, 내장된 실험 추적과 성능 분석으로 AI 애플리케이션에 대한 종합적인 트레이싱, 평가, 모니터링을 제공해요.

Get Started (시작하기)

CrewAI를 사용하고 종합적인 옵저버빌리티와 평가를 위해 OpenTelemetry로 Braintrust와 통합하는 간단한 예시를 함께 살펴볼게요.

Step 1: Install Dependencies

uv add braintrust[otel] crewai crewai-tools opentelemetry-instrumentation-openai opentelemetry-instrumentation-crewai python-dotenv

Step 2: Set Up Environment Variables

Braintrust API 키를 설정하고 OpenTelemetry가 트레이스를 Braintrust로 보내도록 구성해요. Braintrust API key와 OpenAI API key가 필요해요.

import os
from getpass import getpass

# Get your Braintrust credentials
BRAINTRUST_API_KEY = getpass("🔑 Enter your Braintrust API Key: ")

# Get API keys for services
OPENAI_API_KEY = getpass("🔑 Enter your OpenAI API key: ")

# Set environment variables
os.environ["BRAINTRUST_API_KEY"] = BRAINTRUST_API_KEY
os.environ["BRAINTRUST_PARENT"] = "project_name:crewai-demo"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

Step 3: Initialize OpenTelemetry with Braintrust

트레이스 캡처를 시작하고 Braintrust로 보내기 위해 Braintrust OpenTelemetry 계측을 초기화해요.

import os
from typing import Any, Dict

from braintrust.otel import BraintrustSpanProcessor
from crewai import Agent, Crew, Task
from crewai.llm import LLM
from opentelemetry import trace
from opentelemetry.instrumentation.crewai import CrewAIInstrumentor
from opentelemetry.instrumentation.openai import OpenAIInstrumentor
from opentelemetry.sdk.trace import TracerProvider

def setup_tracing() -> None:
    """Setup OpenTelemetry tracing with Braintrust."""
    current_provider = trace.get_tracer_provider()
    if isinstance(current_provider, TracerProvider):
        provider = current_provider
    else:
        provider = TracerProvider()
        trace.set_tracer_provider(provider)

    provider.add_span_processor(BraintrustSpanProcessor())
    CrewAIInstrumentor().instrument(tracer_provider=provider)
    OpenAIInstrumentor().instrument(tracer_provider=provider)


setup_tracing()

Step 4: Create a CrewAI Application

두 에이전트가 협력해 AI 발전에 관한 블로그 글을 연구·작성하며, 종합적인 트레이싱이 활성화된 CrewAI 애플리케이션을 만들어볼게요.

from crewai import Agent, Crew, Process, Task
from crewai_tools import SerperDevTool

def create_crew() -> Crew:
    """Create a crew with multiple agents for comprehensive tracing."""
    llm = LLM(model="gpt-4o-mini")
    search_tool = SerperDevTool()

    # Define agents with specific roles
    researcher = Agent(
        role="Senior Research Analyst",
        goal="Uncover cutting-edge developments in AI and data science",
        backstory="""You work at a leading tech think tank.
        Your expertise lies in identifying emerging trends.
        You have a knack for dissecting complex data and presenting actionable insights.""",
        verbose=True,
        allow_delegation=False,
        llm=llm,
        tools=[search_tool],
    )

    writer = Agent(
        role="Tech Content Strategist",
        goal="Craft compelling content on tech advancements",
        backstory="""You are a renowned Content Strategist, known for your insightful and engaging articles.
        You transform complex concepts into compelling narratives.""",
        verbose=True,
        allow_delegation=True,
        llm=llm,
    )

    # Create tasks for your agents
    research_task = Task(
        description="""Conduct a comprehensive analysis of the latest advancements in {topic}.
        Identify key trends, breakthrough technologies, and potential industry impacts.""",
        expected_output="Full analysis report in bullet points",
        agent=researcher,
    )

    writing_task = Task(
        description="""Using the insights provided, develop an engaging blog
        post that highlights the most significant {topic} advancements.
        Your post should be informative yet accessible, catering to a tech-savvy audience.
        Make it sound cool, avoid complex words so it doesn't sound like AI.""",
        expected_output="Full blog post of at least 4 paragraphs",
        agent=writer,
        context=[research_task],
    )

    # Instantiate your crew with a sequential process
    crew = Crew(
        agents=[researcher, writer], 
        tasks=[research_task, writing_task], 
        verbose=True, 
        process=Process.sequential
    )

    return crew

def run_crew():
    """Run the crew and return results."""
    crew = create_crew()
    result = crew.kickoff(inputs={"topic": "AI developments"})
    return result

# Run your crew
if __name__ == "__main__":
    # Instrumentation is already initialized above in this module
    result = run_crew()
    print(result)

Step 5: View Traces in Braintrust

crew를 실행한 후 Braintrust에서 다양한 관점으로 종합적인 트레이스를 볼 수 있어요:

  • Trace
  • Timeline
  • Thread

Step 6: Evaluate via SDK (Experiments)

Braintrust의 Eval SDK로 평가를 실행할 수도 있어요. 이는 버전을 비교하거나 출력을 오프라인에서 점수화할 때 유용해요. 아래는 위에서 만든 crew와 Eval 클래스를 사용하는 Python 예시예요:

# eval_crew.py
from braintrust import Eval
from autoevals import Levenshtein

def evaluate_crew_task(input_data):
    """Task function that wraps our crew for evaluation."""
    crew = create_crew()
    result = crew.kickoff(inputs={"topic": input_data["topic"]})
    return str(result)

Eval(
    "AI Research Crew",  # Project name
    {
        "data": lambda: [
            {"topic": "artificial intelligence trends 2024"},
            {"topic": "machine learning breakthroughs"},
            {"topic": "AI ethics and governance"},
        ],
        "task": evaluate_crew_task,
        "scores": [Levenshtein],
    },
)

API key를 설정하고 실행하세요:

export BRAINTRUST_API_KEY="YOUR_API_KEY"
braintrust eval eval_crew.py

자세한 내용은 Braintrust Eval SDK 가이드를 참조하세요.

Key Features of Braintrust Integration (통합의 주요 기능)

  • Comprehensive Tracing — 모든 에이전트 상호작용, 툴 사용, LLM 호출을 추적.
  • Performance Monitoring — 실행 시간, 토큰 사용량, 성공률 모니터링.
  • Experiment Tracking — 서로 다른 crew 구성과 모델 비교.
  • Automated Evaluation — crew 출력을 위한 커스텀 평가 메트릭 설정.
  • Error Tracking — crew 실행 전반의 실패를 모니터링·디버그.
  • Cost Analysis — 토큰 사용량과 관련 비용 추적.

Version Compatibility Information (버전 호환성 정보)

  • Python 3.8+
  • CrewAI >= 0.86.0
  • Braintrust >= 0.1.0
  • OpenTelemetry SDK >= 1.31.0

References (참조)

  • Braintrust Documentation — Braintrust 플랫폼 개요.
  • Braintrust CrewAI Integration — 공식 CrewAI 통합 가이드.
  • Braintrust Eval SDK — SDK로 실험 실행.
  • CrewAI Documentation — CrewAI 프레임워크 개요.
  • OpenTelemetry Docs — OpenTelemetry 가이드.
  • Braintrust GitHub — Braintrust SDK 소스 코드.

더 알아보기 (Learn more)