LiteLLM
LiteLLM
OpenAI 형식으로 최신 모델들(Llama, Mistral, Claude, Gemini, Gemma, DALL-E, Whisper)을 호출할 수 있어요. AgentOps로 100개 이상의 LLM을 추적하는 방법을 함께 알아볼게요.
출처: 문서
본문
LiteLLM은 AgentOps로 100개 이상의 LLM을 추적할 수 있게 해줘요. LiteLLM이 지원하는 providers를 확인해보세요. 더 많은 정보는 LiteLLM docs를 방문해보세요.
AgentOps를 LiteLLM과 함께 사용하기 (Using AgentOps with LiteLLM)
1. AgentOps SDK 설치하기 (Install the AgentOps SDK)
pip install agentops
poetry add agentops
2. LiteLLM 설치하기 (Install LiteLLM)
참고: AgentOps는
litellm>=1.3.1을 지원해요.
pip install litellm
poetry add litellm
3. AgentOps 초기화하고 코드에서 LiteLLM 사용하기 (Initialize AgentOps and use LiteLLM in your code)
⚠️ AgentOps는 LiteLLM을 호출하는 방식에 약간의 조정이 필요해요. 그 이유는
completion함수를 사용하는 다른 기존 통합들이 있기 때문이에요.
import agentops
import litellm
agentops.init(<INSERT YOUR API KEY HERE>)
# Some code here...
response = litellm.completion(model="gpt-4o", messages=messages)
# Some code here...
agentops.end_session('Success')
팁: API key를
.env변수로 설정하면 쉽게 사용할 수 있어요.
AGENTOPS_API_KEY=<YOUR API KEY>
환경 변수에 대한 자세한 내용은 Advanced Configuration에서 확인할 수 있어요.
4. 에이전트 실행하기 (Run your Agent)
프로그램을 실행하고 app.agentops.ai/drilldown을 방문해서 여러분의 에이전트를 관찰해보세요! 🕵️
팁: 실행 후 AgentOps는 대시보드의 세션으로 바로 연결되는 클릭 가능한 URL을 콘솔에 출력해요.
전체 예제 (Full Examples)
예제 노트북을 여기에서 확인할 수 있어요.