Llama Stack

Llama Stack는 Meta AI가 에이전트형(Agentic) 애플리케이션을 구축하기 위해 만든 프레임워크예요. Llama Stack을 활용하는 애플리케이션에 에이전트 관찰성(observability)을 제공하는 방법을 함께 알아볼게요.

출처: 문서

본문

AgentOps는 Llama Stack과 python client를 통해 통합되어, 이를 활용하는 애플리케이션에 관찰성(observability)을 제공해요.

Llama Stack은 포괄적인 documentation과 훌륭한 quickstart 가이드를 제공해요. 이 가이드를 사용해 Llama Stack 서버와 클라이언트를 설정하거나, 대신에 우리의 Docker compose 파일을 사용할 수 있어요.

1. AgentOps SDK 설치하기 (Install the AgentOps SDK)

pip install agentops

poetry add agentops

2. Llama Stack 클라이언트 설치하기 (Install the Llama Stack Client)

pip install llama-stack-client

poetry add llama-stack-client

3. 코드 3줄 추가하기 (Add 3 lines of code)

참고: openai, cohere, crew 등 어떤 모델을 호출하기 전에 반드시 agentops.init을 먼저 호출해야 해요.

import agentops
agentops.init(<INSERT YOUR API KEY HERE>)

팁: API key를 .env 변수로 설정하면 쉽게 사용할 수 있어요.

AGENTOPS_API_KEY=<YOUR API KEY>

환경 변수에 대한 자세한 내용은 Advanced Configuration에서 확인할 수 있어요.

4. 🦙🥞 애플리케이션 실행하기 (Run your 🦙🥞 application)

프로그램을 실행하고 app.agentops.ai/drilldown을 방문해서 여러분의 waterfall을 관찰해보세요! 🕵️

팁: 실행 후 AgentOps는 대시보드의 세션으로 바로 연결되는 클릭 가능한 URL을 콘솔에 출력해요.

예제 노트북을 여기에서 확인할 수 있어요. AgentOps와 함께 Llama Stack 클라이언트를 사용하는 방법을 보여줘요.