AI Connections용 Prompts & Hyperparameters
AI Connections용 Prompts & Hyperparameters
프롬프트 버전과 하이퍼파라미터를 AI connection의 페이로드에 연결하는 기능이에요.
출처: 문서
본문
개요 (Overview)
프롬프트와 하이퍼파라미터는 AI Connection 엔드포인트로 페이로드의 일부로 보내지고, 둘 다 테스트 런·실험과 함께 기록돼요. 덕분에 모든 평가 결과를 그것을 만드는 데 사용된 정확한 프롬프트 버전과 구성 값까지 추적할 수 있어요.
Attach prompt versions and hyperparameters
프롬프트 (Prompts)
AI connection에 프롬프트 버전을 연결해요. 평가를 실행할 때 이 프롬프트들이 각 테스트 런에 귀속되어, 결과를 사용된 프롬프트까지 거슬러 추적할 수 있게 해줘요.
페이로드의 prompts 변수는 alias와 version을 담은 객체로 매핑되는 키들로 이루어진 딕셔너리예요.
{
"system": { "alias": "system-prompt", "version": "1.0.0" },
"assistant": { "alias": "assistant-prompt", "version": "2.1.0" }
}
Python 엔드포인트가 prompts 딕셔너리를 처리하는 예시를 보여줄게요.
from deepeval.prompt import Prompt
@app.post("/generate")
def generate(request: dict):
# Pull different prompt versions using their keys
system_info = request["prompts"]["system"]
assistant_info = request["prompts"]["assistant"]
system_prompt = Prompt(alias=system_info["alias"]).pull(version=system_info["version"])
assistant_prompt = Prompt(alias=assistant_info["alias"]).pull(version=assistant_info["version"])
# Use the prompts in your generation
response = llm.generate(
system=system_prompt.text,
assistant=assistant_prompt.text,
user=request["input"]
)
return {"output": response}
프롬프트 작업에 대해 더 자세히 알고 싶다면 Prompt Versioning을 참고하세요.
하이퍼파라미터 (Hyperparameters)
선택적 하이퍼파라미터를 문자열 키-값 쌍으로 정의해요. 이것들은 페이로드의 일부로 엔드포인트에 보내지고 테스트 런·실험에도 기록되어, 각 평가에 어떤 구성이 사용되었는지 추적하기 쉬워요.
하이퍼파라미터는 temperature, model_name, max_tokens 같은 모델 구성 값을 엔드포인트에 하드코딩하지 않고 AI 앱에 전달할 때 유용해요. 테스트 런·실험 결과와 함께 기록되므로, 다른 하이퍼파라미터 값이 평가 결과에 어떤 영향을 주는지 비교할 수 있어요.
페이로드의 hyperparameters 변수는 키와 값이 모두 문자열인 딕셔너리예요.
{
"temperature": "0.7",
"model": "gpt-4o",
"max_tokens": "1024"
}
Python 엔드포인트가 하이퍼파라미터를 사용하는 예시를 보여줄게요.
@app.post("/generate")
def generate(request: dict):
hyperparameters = request.get("hyperparameters", {})
response = llm.generate(
model=hyperparameters.get("model", "gpt-4o"),
temperature=float(hyperparameters.get("temperature", "0.7")),
max_tokens=int(hyperparameters.get("max_tokens", "1024")),
user=request["input"]
)
return {"output": response}
하이퍼파라미터 값은 항상 문자열이에요. 엔드포인트에서 필요에 따라 적절한 타입(예:
float,int)으로 캐스팅해 주세요.
다음 단계 (Next Steps)
프롬프트와 하이퍼파라미터를 연결했으니, 이제 Confident AI가 엔드포인트 응답을 읽는 방식을 구성해 보세요.
Payload
JSON 또는 Code 모드에서 골든 변수를 요청 본문에 매핑해요.
Output Parsing
키 경로나 트랜스포머로 actual output, retrieval context, tool calls를 추출해요.