Granite Code 모델 프롬프팅
Granite Code 모델 프롬프팅
Granite Code 모델은 코드 생성적 태스크(버그 수정, 코드 설명, 코드 문서화)를 위해 인스트럭션 튜닝된 엔터프라이즈급 파운데이션 모델이에요. watsonx.ai에서 사용할 때 권장되는 프롬프트 파라미터가 정리되어 있어요.
권장 파라미터
| 파라미터 | 권장값 | 설명 |
|---|---|---|
| 디코딩(Decoding) | Greedy | 가장 확률 높은 토큰만 선택. 명령을 잘 따르고 덜 창의적일 때 최적 |
| 반복 페널티(Repetition penalty) | 1.05 | 단어 반복으로 로봇같은 느낌을 주지 않도록 낮게 설정 |
| 정지 기준(Stopping criteria) | `< | endoftext |
| 최대 토큰(Max tokens) | 900 | 코드 모델의 최대 컨텍스트 창은 8,192 |
프롬프팅 팁
- 응답이 중간에 끊기면 최대 출력 토큰 수를 늘려 코드 응답이 잘리지 않게 해요.
- 과도한 공백을 추가하지 말아요.
- 응답이 중단되면
max_tokens(최대 출력 토큰)을 키워 코드가 완성되도록 해요.
<|endoftext|> 정지 시퀀스는 입력보다 적은 토큰으로 응답할 때 입력 패턴을 반복하는 문제를 막아줘요.