Decoding Strategies — 다음 토큰을 고르는 방법

Decoding Strategies

LLM이 '다음 토큰'을 어떻게 고르는지에 따라 생성 품질이 크게 달라져요. 디코딩 전략은 그리디·빔 서치·샘플링(탑-k/top-p)·대비적 탐색 같은 방법으로 다음 토큰을 선택하는 규칙이에요. 🤗Transformers는 model.generate()와 GenerationConfig로 이 전략을 유연하게 제어해요.

이 카테고리의 문서

• 개요: Generation Strategies — 그리디·빔·샘플링
• 실전·API: Generation API — generate와 GenerationConfig
• 설정: GenerationConfig — 생성 파라미터 제어

출처: https://huggingface.co/docs/transformers/en/generation_strategies