Braintrust — AI를 측정·평가·개선하는 옵저버빌리티 플랫폼
Braintrust
AI 앱을 운영 환경까지 내보낸 뒤엔, 모델을 비교하고 프롬프트를 반복하고 회귀를 잡아내고 실제 사용자 데이터로 계속 개선하는 일이 남아요. Braintrust는 그런 작업을 위한 AI 옵저버빌리티 플랫폼이에요. Braintrust로 팀은 모델을 비교하고, 프롬프트를 반복하며, 회귀를 발견하고, 실제 사용자 데이터를 활용해 AI 애플리케이션을 지속적으로 개선할 수 있어요. 여러 프로그래밍 언어와 AI 라이브러리를 자동 인스트루먼트해 트레이스를 캡처하고, 평가(evals)와 로그 분석을 함께 제공해요.
이 카테고리의 문서
- 소개: Braintrust의 워크플로우와 시작 방법
- 트레이싱 시작: 첫 트레이스를 로그로 남기기
- 자동 인스트루먼트: LLM 호출을 자동으로 캡처하기