AgentOps 대시보드 — 세션·워터폴·드릴다운으로 에이전트 보기

AgentOps 대시보드 — 세션·워터폴·드릴다운으로 에이전트 보기

AgentOps는 개발자가 좋아하는 에이전트 프레임워크(OpenAI Agents SDK, CrewAI, AG2, AutoGen, Anthropic, Ollama, LangChain, LlamaIndex 등)와 통합되고, 에이전트를 대시보드에서 시각화할 수 있게 해 줍니다. 설정 후 프로그램을 실행할 때마다 세션(session) 으로 기록됩니다.

출처: https://docs.agentops.ai/v2/introduction

대시보드 구성

Session Drilldown — 이전에 기록된 모든 세션 목록과 총 실행 시간 같은 유용한 데이터를 보여줘요. Crew·AutoGen 같은 지원 프레임워크를 쓴다면 SDK 버전 같은 디버깅 정보도 확인할 수 있고, LLM 호출은 익숙한 채팅 히스토리 뷰로, 차트는 호출된 이벤트 유형과 걸린 시간을 보여줍니다.

가장 강력한 건 Session Waterfall이에요. 왼쪽에는 모든 LLM 호출·Action 이벤트·도구 호출·에러의 시간 시각화가, 오른쪽에는 선택한 이벤트의 세부 정보가 나타나요. 예를 들어 특정 LLM 호출의 정확한 프롬프트와 컴플리션까지 볼 수 있고, 대부분 자동으로 기록됩니다.

Session Overview — 모든 세션을 하나의 뷰에서 메타 분석으로 보여줍니다.

두 줄 코드의 힘

터미널에 묶여 있지 않고, 두 줄의 코드만으로 에이전트 동작을 대시보드에서 시각화할 수 있어요. AgentOps는 TypeScript/JavaScript 앱도 지원하므로, Node.js 프로젝트라면 TypeScript SDK 가이드를 참고하세요. AgentOps 앱 자체는 오픈소스로 GitHub에서 볼 수 있어요.

더 알아보기