Galileo 통합

Galileo 통합 (Galileo Integration)

이 가이드는 종합적인 트레이싱과 평가 엔지니어링(Evaluation Engineering)을 위해 Galileo를 CrewAI와 통합하는 방법을 보여줘요. 이 가이드를 끝내면 CrewAI 에이전트를 트레이스하고, 성능을 모니터링하며, Galileo의 강력한 옵저버빌리티 플랫폼으로 에이전트의 동작을 평가할 수 있어요.

출처: 문서

본문

Overview (개요)

이 가이드는 종합적인 트레이싱과 평가 엔지니어링을 위해 Galileo를 CrewAI와 통합하는 방법을 보여줘요. 이 가이드를 끝내면 CrewAI 에이전트를 트레이스하고, 성능을 모니터링하며, Galileo의 강력한 옵저버빌리티 플랫폼으로 에이전트의 동작을 평가할 수 있어요.

Galileo란 무엇인가요? Galileo는 AI 애플리케이션을 위한 종단 간(end-to-end) 트레이싱, 평가, 모니터링을 제공하는 AI 평가·옵저버빌리티 플랫폼이에요. 팀이 ground truth를 캡처하고, 견고한 가드레일을 만들고, 내장된 실험 추적과 성능 분석으로 체계적인 실험을 실행할 수 있게 해 줘요. 이를 통해 AI 수명주기 전반에 걸쳐 신뢰성, 투명성, 지속적 개선을 보장해요.

Getting started (시작하기)

이 튜토리얼은 CrewAI quickstart를 따라가며 이벤트 핸들러인 Galileo의 CrewAIEventListener를 추가하는 방법을 보여줘요. 자세한 내용은 Galileo의 "Add Galileo to a CrewAI Application" how-to 가이드를 참조하세요.

참고 이 튜토리얼은 CrewAI quickstart를 완료했다고 가정해요. 완성된 종합 예시가 필요하다면 Galileo CrewAI sdk-example 저장소를 참조하세요.

Step 1: Install dependencies

앱에 필요한 의존성을 설치하세요. 선호하는 방법으로 가상 환경을 만들고, 그 안에 선호하는 툴로 의존성을 설치하세요:

uv add galileo

Step 2: Add to the .env file from the CrewAI quickstart

# Your Galileo API key
GALILEO_API_KEY="your-galileo-api-key"

# Your Galileo project name
GALILEO_PROJECT="your-galileo-project-name"

# The name of the Log stream you want to use for logging
GALILEO_LOG_STREAM="your-galileo-log-stream "

Step 3: Add the Galileo event listener

Galileo로 로깅을 활성화하려면 CrewAIEventListener의 인스턴스를 만들어야 해요. main.py 파일 상단에 다음 코드를 추가해 Galileo CrewAI 핸들러 패키지를 임포트하세요:

from galileo.handlers.crewai.handler import CrewAIEventListener

run 함수 시작 부분에서 이벤트 리스너를 만드세요:

def run():
    # Create the event listener
    CrewAIEventListener()
    # The rest of your existing code goes here

리스너 인스턴스를 만들면 자동으로 CrewAI에 등록돼요.

Step 4: Run your crew

CrewAI CLI로 crew를 실행하세요:

crewai run

Step 5: View the traces in Galileo

crew가 끝나면 트레이스가 플러시되어 Galileo에 나타나요.

Understanding the Galileo Integration (Galileo 통합 이해하기)

Galileo는 Crew 실행 이벤트(예: 에이전트 동작, 툴 호출, 모델 응답)를 캡처해 옵저버빌리티와 평가를 위해 Galileo로 전달하는 이벤트 리스너를 등록하는 방식으로 CrewAI와 통합돼요.

Understanding the event listener (이벤트 리스너 이해하기)

CrewAIEventListener() 인스턴스를 만드는 것만으로 CruiseAI run에 Galileo를 활성화할 수 있어요. 인스턴스화되면 리스너는:

  • 자동으로 CrewAI에 등록돼요.
  • 환경 변수에서 Galileo 구성을 읽어요.
  • GALILEO_PROJECT와 GALILEO_LOG_STREAM이 지정한 Galileo 프로젝트와 로그 스트림에 모든 run 데이터를 기록해요.

추가 구성이나 코드 변경은 필요 없어요. 이 run의 모든 데이터는 환경 구성(예: GALILEO_PROJECT, GALILEO_LOG_STREAM)이 지정한 Galileo 프로젝트와 로그 스트림에 기록돼요.

더 알아보기 (Learn more)