추론 콘텐츠
추론 콘텐츠 (Reasoning Content)
LiteLLM에서 모델이 생성한 추론(reasoning) 콘텐츠를 처리하고 활용하는 방법을 안내해요. reasoning 모델(예: OpenAI o 시리즈)의 reasoning_content 필드를 읽고 로깅/제어하는 방법을 설명해요.
출처: 문서
본문
추론(reasoning) 모델은 답변 전에 추론 과정(reasoning content)을 생성해요. LiteLLM은 이 추론 콘텐츠를 표준화된 방식으로 노출하고, 저장/로깅 여부를 제어할 수 있게 해줘요.
핵심 내용
- reasoning 모델의 응답에는 일반 콘텐츠와 별도의 추론 텍스트가 포함돼요.
- LiteLLM은 제공자별 형식(OpenAI, Anthropic, Gemini 등)의 추론 콘텐츠를 통일된 필드로 매핑해요.
- 프록시/콜백에서 추론 콘텐츠를 로그에 저장하거나 제외하도록 설정할 수 있어요 (비용·프라이버시 제어).
- 스트리밍 응답에서도 추론 콘텐츠를 구분해 처리할 수 있어요.
설정
litellm_settings나 콜백 설정을 통해 reasoning_content의 저장 여부를 제어할 수 있어요. 기본적으로는 모델과 제공자에 따라 처리 방식이 달라요.
이 페이지는 추론 콘텐츠 처리의 시작점이에요. 자세한 내용은 LiteLLM 로깅/콜백 및 모델 지원 문서를 참고하세요.