Generation 전략 — 빔 서치의 위치
Generation 전략 — 빔 서치의 위치
디코딩 전략은 '다음 토큰을 어떻게 고를까'를 정하는 규칙이에요. 그중 빔 서치는 전역 최적에 더 가까운 결과를 찾는 핵심 전략이에요.
기본 디코딩부터
- Greedy search: 매 단계 최고 확률 토큰만 선택. 빠르지만 반복·근시안적.
- Sampling: 확률 분포에서 무작위 샘플링. 창의적·다양한 출력.
- Beam search: 매 단계 여러 시퀀스(빔)를 유지. 이후 단계가 전체 확률을 올려주는 조합을 골라 '멀리 내다볼' 수 있어요.
빔 서치의 특징
샘플링을 함께 쓸 수도 있지만(do_sample=True), 빔 사이에서 저확률 시퀀스는 여전히 탐욕적으로 가지치기돼요. 그러니 '입력 기반'으로 정답이 정해져 있는 작업(이미지 묘사, 음성 인식)에 적합한 전략이에요.
몇 개를 유지하나
num_beams 를 1보다 크게 주면 빔 1개(탐욕)와 달라져요. 빔 수가 많을수록 결과가 좋아지지만 계산 비용은 선형으로 늘어나요.