프롬프트 포맷·통합
프롬프트 포맷·통합
CodeGemma를 실제 개발 환경에 통합할 때 알아두면 좋은 포인트를 정리할게요. CodeGemma는 오픈 가중치 모델이므로 다양한 추론 서버와 도구에서 쓸 수 있어요.
프롬프트 포맷
CodeGemma는 용도(자동 완성 vs 채팅/지시)에 따라 다른 프롬프트 포맷을 사용해요.
- FIM 완성용 — 코드 프리픽스와 서픽스를 특정 토큰으로 감싸 중간 부분 생성을 유도해요. 편집기 자동 완성에 적합한 포맷이에요.
- 채팅/지시용(7B instruct) — 자연어 지시를 채팅 템플릿에 맞춰 넣고 응답을 생성해요.
정확한 토큰과 템플릿은 각 모델의 모델 카드와 공식 문서에서 확인하는 게 가장 정확해요.
개발 환경 통합
CodeGemma를 개발 환경에 통합해서 더 적은 보일러플레이트를 쓰고 가치 있는 코드에 집중할 수 있어요. 로컬 추론뿐 아니라 Google Cloud 리소스에서도 실행할 수 있어요.
추론 도구
CodeGemma는 Gemma 패밀리의 다른 모델들과 마찬가지로 Hugging Face Transformers, vLLM, Ollama 등 익숙한 오픈 도구로 로드하고 서빙할 수 있어요. 가중치는 Hugging Face(google/codegemma-*)와 Kaggle에서 받을 수 있어요.