모델 리추닝(reasoning)으로 응답 정확도 높이기
모델 리추닝(reasoning)으로 응답 정확도 높이기
복잡한 문제를 만나면 답을 바로 내놓기보다 한 번 생각하고 나서 말하는 게 더 정확한 경우가 많아요. 모델도 마찬가지예요. 일부 파운데이션 모델은 큰 작업을 더 작은 단계로 쪼개 순서대로 풀어가는 모델 리추닝(model reasoning) 을 수행할 수 있어요. 이 페이지에서는 리추닝이 언제 유용한지, 어떤 비용이 따르는지 정리해 드릴게요.
출처: https://docs.aws.amazon.com/bedrock/latest/userguide/inference-reasoning.html
리추닝이란 무엇인가요
모델 리추닝은 큰·복잡한 작업을 더 작고 단순한 단계로 나눠 푸는 과정이에요. 이런 방식을 흔히 사고 사슬(chain of thought, CoT) 추론이라고 불러요. CoT 추론은 응답하기 전에 모델이 생각할 기회를 줘서 정확도를 높여주는 경우가 많아요. 특히 다단계 분석, 수학 문제, 복잡한 추론 작업에서 뚜렷한 효과를 보여요.
언제 쓰면 좋을까요
리추닝이 모든 작업에 필요한 건 아니에요. 생각하는 만큼 지연(latency)과 출력 토큰 수가 늘어나는 추가 비용이 따르기 때문이에요. 추가 설명이 필요 없는 단순한 작업은 CoT 추론에 적합하지 않아요.
리추닝에 쓸 출력 토큰 수를 직접 조절할 수 없는 모델도 있어요. 추론을 지원하는 모델을 확인하려면 "models at a glance" 페이지에서 관심 있는 모델을 선택해 살펴보면 됩니다.