LLM 호출 추적하기
LLM 호출 추적하기 (Tracking LLM Calls)
AgentOps SDK를 사용해 LLM 호출을 추적하는 방법을 설명하는 문서예요. 지원되는 LLM 프로바이더가 설치되어 있으면 자동으로 추적이 시작되고, 동작하지 않을 때 해결하는 방법도 함께 살펴볼게요.
출처: 문서
본문
AgentOps SDK로 LLM 호출을 추적해 보세요.
동작 원리 (How it works)
AgentOps SDK가 지원되는 LLM 프로바이더 모듈이 설치된 것을 감지하면 해당 사용량을 자동으로 추적하기 시작해요. 여러분이 추가로 할 일은 없어요! 😊
동작하지 않나요? (Not working?)
다음 단계를 시도해 보세요:
- 최신 버전의 AgentOps SDK를 설치했는지 확인하세요. 우리는 새로운 LLM 라이브러리와 릴리스를 지원하기 위해 지속적으로 업데이트하고 있어요.
- LLM 모듈을 import한 후에, LLM 메서드를 호출하기 전에
agentops.init()을 호출하고 있는지 확인하세요. agentops.init()의instrument_llm_calls파라미터가True(기본값)로 설정되어 있는지 확인하세요.- 동시에 여러 세션이 있다면, 여기에 설명된 대로 LLM 호출을 패치(patch)했는지 확인하세요.
여전히 동작하지 않나요? 알려주세요! Discord, GitHub에서 찾을 수 있고, [email protected]로 이메일을 보내주셔도 돼요.
시작하려면 퀵스타트 가이드를 따라가면 돼요.
- Quick Start — 5분 안에 AgentOps 시작하기.