Ollama 통합

Ollama 통합 (Ollama)

가볍고 오픈소스인 로컬 LLM 실행 도구인 Ollama를 AgentOps와 함께 사용해서, 모델 호출을 자동으로 추적하는 방법을 안내하는 문서예요. AgentOps는 Ollama에 대해 일급(first-class) 지원을 제공해요.

출처: 문서

본문

Ollama는 LLM 모델을 실행하고 관리하기 위한 가볍고 오픈소스인 도구예요. AgentOps로 Ollama 모델 호출을 추적해 보세요.

1. AgentOps SDK와 Ollama 설치하기

pip install agentops ollama

poetry add agentops ollama

2. Ollama SDK 설치하기

pip install ollama

poetry add ollama

3. 코드 3줄 추가하기

어떤 openai, cohere, crew 등의 모델을 호출하기 전에 agentops.init을 먼저 호출해 주세요.

import agentops
import ollama

agentops.init(<INSERT YOUR API KEY HERE>)
agentops.start_session()

ollama.pull("<MODEL NAME>")

response = ollama.chat(model='mistral',
  messages=[{
      'role': 'user',
      'content': 'What are the benefits of using AgentOps for monitoring LLMs?',
  }]
)
print(response['message']['content'])
...
# 프로그램 종료 (예: main.py)
agentops.end_session("Success")

API 키는 .env 변수로 설정해 두면 편하게 쓸 수 있어요.

# 또는 API 키를 환경 변수로 설정할 수도 있어요
AGENTOPS_API_KEY=<YOUR API KEY>

환경 변수에 대한 더 자세한 내용은 Advanced Configuration 문서를 참고하세요.

4. 에이전트 실행하기

프로그램을 실행하고 app.agentops.ai/drilldown에 접속해서 에이전트를 관찰해 보세요! 🕵️

실행을 마치면 AgentOps가 콘솔에 대시보드의 세션으로 바로 연결되는 클릭 가능한 URL을 출력해 줘요.

전체 예제 (Full Examples)

import ollama
import agentops

agentops.init(<INSERT YOUR API KEY HERE>)

ollama.pull("<MODEL NAME>")
response = ollama.chat(
    model="<MODEL NAME>",
    max_tokens=1024,
    messages=[{
        "role": "user",
        "content": "Write a haiku about AI and humans working together"
    }]
)

print(response['message']['content'])
agentops.end_session('Success')

import agentops
import ollama

async def main():
    agentops.init(<INSERT YOUR API KEY HERE>)
    ollama.pull("<MODEL NAME>")

    stream = ollama.chat(
      model="<MODEL NAME>",
        messages=[{
            'role': 'user',
            'content': 'Write a haiku about monitoring AI agents',
        }], 
        stream=True
    )

    for chunk in stream:
        print(chunk['message']['content'], end='')

    agentops.end_session('Success')

import ollama
import agentops

agentops.init(<INSERT YOUR API KEY HERE>)
ollama.pull("<MODEL NAME>")

messages = [
  {
      'role': 'user',
      'content': 'What is AgentOps?'
  },
  {
      'role': 'assistant',
      'content': 'AgentOps is a monitoring and observability platform for LLM applications.'
  },
  {
      'role': 'user',
      'content': 'Can you give me 3 key features?'
  }
]

response = ollama.chat(
    model="<MODEL NAME>",
    messages=messages
)
print(response['message']['content'])   
agentops.end_session('Success')

더 알아보기 (Learn more)

• Advanced Configuration
• Ollama