PromptLayer
PromptLayer
PromptLayer는 프롬프트 엔지니어를 위한 플랫폼이에요. OpenAI 요청을 기록하고, 사용 이력을 검색하고, 성능을 추적하고, 프롬프트 템플릿을 시각적으로 관리할 수 있어요.
출처: 문서
본문
PromptLayer는 프롬프트 엔지니어를 위한 플랫폼이에요. OpenAI 요청을 기록하고, 사용 이력을 검색하고, 성능을 추적하고, 프롬프트 템플릿을 시각적으로 관리할 수 있어요.
모든 LLM 프로바이더(OpenAI, Azure, Anthropic, Cohere, Replicate, PaLM)의 요청을 PromptLayer로 기록하기
liteLLM은 콜백을 제공하여 응답 상태에 따라 데이터를 쉽게 기록할 수 있게 해 줘요.
콜백 사용 (Using Callbacks)
PromptLayer API 키는 https://promptlayer.com/ 에서 받을 수 있어요.
단 2줄의 코드로 모든 프로바이더의 응답을 promptlayer로 즉시 기록할 수 있어요:
litellm.success_callback = ["promptlayer"]
전체 코드
from litellm import completion
## set env variables
os.environ["PROMPTLAYER_API_KEY"] = "your-promptlayer-key"
os.environ["OPENAI_API_KEY"], os.environ["COHERE_API_KEY"] = "", ""
# set callbacks
litellm.success_callback = ["promptlayer"]
#openai call
response = completion(model="gpt-5.6-luna", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}])
#cohere call
response = completion(model="command-nightly", messages=[{"role": "user", "content": "Hi 👋 - i'm cohere"}])
메타데이터 기록 (Logging Metadata)
completion 호출 메타데이터를 Promptlayer에 기록할 수도 있어요. metadata 파라미터를 통해 completion 호출에 메타데이터를 추가할 수 있어요:
completion(model,messages, metadata={"model": "ai21"})
전체 코드
from litellm import completion
## set env variables
os.environ["PROMPTLAYER_API_KEY"] = "your-promptlayer-key"
os.environ["OPENAI_API_KEY"], os.environ["COHERE_API_KEY"] = "", ""
# set callbacks
litellm.success_callback = ["promptlayer"]
#openai call - log llm provider is openai
response = completion(model="gpt-5.6-luna", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}], metadata={"provider": "openai"})
#cohere call - log llm provider is cohere
response = completion(model="command-nightly", messages=[{"role": "user", "content": "Hi 👋 - i'm cohere"}], metadata={"provider": "cohere"})
제안해 주신 Vim-GPT의 Nick Bradford님께 감사드려요.