소개
소개 (Introduction)
AI 에이전트와 LLM 애플리케이션을 테스트·디버깅·배포하기 위한 개발자 선호 플랫폼인 AgentOps를 소개하는 문서예요. 단 두 줄의 코드만으로 에이전트 동작을 대시보드에서 시각화할 수 있는 방법을 함께 살펴볼게요.
출처: 문서
본문
AgentOps는 AI 에이전트와 LLM 앱을 테스트·디버깅·배포하는 데 개발자들이 가장 선호하는 플랫폼이에요.
오픈소스 (Open Source) AgentOps 앱은 오픈소스예요. GitHub app directory에서 코드를 살펴볼 수 있어요.
개발자 선호 에이전트 프레임워크와 통합하기
AgentOps는 OpenAI Agents SDK, CrewAI, AG2, AutoGen, Anthropic, Ollama, Cohere, Groq 등 다양한 개발자 선호 에이전트 프레임워크와 통합돼요.
AI 에이전트와 LLM 앱을 위한 가시성(observability)과 모니터링을 제공하며, 단 두 줄의 코드로 모든 것을 처리해요.
import agentops
agentops.init(<INSERT YOUR API KEY HERE>)
...이 코드 한 덩어리가 모든 것을 다시 AgentOps 대시보드에 기록해 줘요.
AgentOps는 TypeScript/JavaScript 애플리케이션에서도 사용할 수 있어요. Node.js 프로젝트는 TypeScript SDK 가이드를 확인해 보세요.
AgentOps 대시보드 (The AgentOps Dashboard)
GitHub에서 별(star)을 눌러 북마크해 두고 나중에 다시 방문해 보세요 🖇️)
단 두 줄의 코드만으로 터미널이라는 족쇄에서 벗어나 에이전트의 동작을 AgentOps 대시보드에서 시각화할 수 있어요. AgentOps를 설정하면 프로그램을 실행할 때마다 세션(session)으로 기록되고, 위 데이터가 자동으로 기록돼요.
아래 예제들은 두 줄의 코드로 캡처한 것이에요.
세션 드릴다운 (Session Drilldown)
여기서 이전에 기록된 모든 세션 목록과 각 세션의 총 실행 시간 같은 유용한 데이터를 확인할 수 있어요. 또한 Crew나 AutoGen 같은 지원되는 에이전트 프레임워크로 개발 중이라면 SDK 버전 같은 디버깅 정보도 얻을 수 있어요. LLM 호출은 익숙한 채팅 기록(chathistory) 보기로 표시되고, 차트는 호출된 이벤트 유형별 분류와 소요 시간을 보여줘요.
세션 서랍(Session Drawer)에서 지난 세션을 찾을 수 있어요.
가장 강력한 기능은 세션 워터폴(Session Waterfall)이에요. 왼쪽에는 모든 LLM 호출, 액션 이벤트, 도구 호출, 에러의 시간별 시각화가 표시되고, 오른쪽에는 워터폴에서 선택한 이벤트의 세부 정보가 표시돼요. 예를 들어 특정 LLM 호출의 정확한 프롬프트와 완료(completion) 내용이 그렇죠. 대부분 자동으로 기록돼요.
세션 개요 (Session Overview)
모든 세션의 메타 분석(meta-analysis)을 단일 뷰로 확인할 수 있어요.