LLM 호출 추적
LLM 호출 추적 (Tracking LLM Calls)
AgentOps SDK로 LLM 호출을 추적하는 방법을 소개해요. 자동 추적의 작동 방식, 지원되는 프로바이더, 그리고 문제가 생길 때 해결 방법을 알아볼게요.
출처: 문서
본문
자동 LLM 호출 추적 (Automatic LLM Call Tracking)
AgentOps는 LLM 호출 추적을 아주 간단하게 만들어 줍니다. API 키로 SDK를 초기화하기만 하면 AgentOps가 모든 LLM 호출을 자동으로 추적해요.
import agentops
from openai import OpenAI
# Initialize AgentOps
agentops.init("your-api-key")
# Make LLM calls as usual - they'll be tracked automatically
client = OpenAI()
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello, world!"}]
)
작동 방식 (How it works)
AgentOps SDK가 지원되는 LLM 프로바이더 모듈이 설치된 것을 감지하면, 자동으로 그 사용을 추적하기 시작합니다. 여러분이 더 할 일은 없어요! 😊
지원되는 LLM 프로바이더 (Supported LLM Providers)
AgentOps는 많은 인기 LLM 프로바이더에 대한 자동 추적을 지원합니다. 다음을 포함합니다.
- OpenAI
- Anthropic
- Google (Gemini)
- LiteLLM
- 그 외 더
동작하지 않나요? (Not working?)
다음 단계를 시도해 보세요.
- 최신 버전의 AgentOps SDK가 설치되어 있는지 확인하세요. 우리는 새 LLM 라이브러리와 릴리스를 지원하기 위해 지속적으로 업데이트하고 있어요.
- LLM 모듈을 import 한 후에, LLM 메서드를 호출하기 전에
agentops.init()을 호출하고 있는지 확인하세요. agentops.init()의instrument_llm_calls파라미터가True(기본값)로 설정되어 있는지 확인하세요.
그래도 동작하지 않나요? 알려주세요! Discord나 GitHub에서 우리를 찾을 수 있고, [email protected]로 이메일을 보낼 수도 있어요.
시작하려면 퀵 스타트 가이드를 따라 하세요.