Cohere 모델로 예측 가능한 출력 얻는 방법
Cohere 모델로 예측 가능한 출력 얻는 방법
텍스트 디코딩 전략과 언어 모델 출력의 무작위성·예측 가능성에 영향을 주는 파라미터를 설명하는 문서예요.
출처: 문서
본문
모델 출력의 예측 가능성은 Chat API의 seed와 temperature 파라미터를 사용해 제어할 수 있어요.
Seed
참고(Note)
seed파라미터는 장기적인 재현성(reproducibility)을 보장하지 않아요. 모델의 내부 업데이트가 seed를 무효화할 수 있습니다.
모델을 재현 가능한 동작으로 강제하는 가장 쉬운 방법은 seed 파라미터에 값을 제공하는 것이에요. 연속된 요청에서 동일한 정수 seed를 지정하면 모델이 동일한 토큰 집합을 생성하게 됩니다. 이는 디버깅과 테스트에 유용할 수 있어요.
PYTHON
import cohere
co = cohere.ClientV2(api_key="YOUR API KEY")
res = co.chat(
model="command-a-plus-05-2026",
messages=[{"role": "user", "content": "say a random word"}],
seed=45,
)
print(res.message.content[0].text) # Sure! How about "onomatopoeia"?
# making another request with the same seed results in the same generated text
res = co.chat(
model="command-a-plus-05-2026",
messages=[{"role": "user", "content": "say a random word"}],
seed=45,
)
print(res.message.content[0].text) # Sure! How about "onomatopoeia"?
cURL
curl --request POST \
--url https://api.cohere.ai/v2/chat \
--header 'accept: application/json' \
--header 'content-type: application/json' \
--header "Authorization: bearer ***" \
--data '{
"model": "command-a-plus-05-2026",
"messages": [
{
"role": "user",
"content": "say a random word"
}
],
"seed": 45
}'
Temperature
생성 모델에서의 샘플링은 무작위성을 포함하므로, 같은 프롬프트라도 생성 때마다 다른 출력을 낼 수 있어요. Temperature는 무작위성의 정도를 조절하는 데 사용되는 0-1 범위의 파라미터이며, 기본값은 .3입니다.
샘플링 시 temperature 고르는 방법
낮은 temperature는 무작위성이 적다는 뜻이고, 0 temperature는 항상 동일한 출력을 만들어냅니다. 낮은 temperature(대략 .1에서 .3)는 질의응답이나 요약처럼 "정답"이 있는 작업을 수행할 때 더 적합해요. 모델이 스스로 반복하기 시작하면 temperature가 너무 낮다는 신호일 수 있어요.
높은 temperature는 무작위성이 더 많고 근거(grounding)가 덜하다는 뜻이에요. 이는 모델이 더 창의적인 출력을 내는 데 도움이 될 수 있지만, 검색 증강 생성(retrieval augmented generation)을 사용한다면 제공한 컨텍스트를 제대로 사용하지 못할 수도 있다는 뜻이기도 해요. 모델이 주제에서 벗어나거나, 무의미한 출력을 내거나, 근거를 제대로 하지 못하기 시작하면 temperature가 너무 높다는 신호예요.
Temperature는 문제마다 조정할 수 있지만, 대부분의 사람들은 .3 또는 .5의 temperature가 좋은 시작점이라고 생각할 거예요.
시퀀스가 길어질수록 모델은 자연스럽게 예측에 더 확신을 갖게 되므로, 주제에서 벗어나지 않으면서 긴 프롬프트에는 temperature를 훨씬 더 높일 수 있어요. 반대로 짧은 프롬프트에서 높은 temperature를 사용하면 출력이 매우 불안정해질 수 있습니다.