컨텍스트 길이
컨텍스트 길이
컨텍스트 길이(context length)는 모델이 메모리에서 참조할 수 있는 토큰의 최댓값이에요. Ollama는 이 값을 VRAM 용량에 따라 기본값으로 정해 두는데, 기준은 이렇게 됩니다.
참고
- VRAM 24 GiB 미만: 4k 컨텍스트
- VRAM 24~48 GiB: 32k 컨텍스트
- VRAM 48 GiB 이상: 256k 컨텍스트
웹 검색이나 에이전트, 코딩 도구처럼 긴 컨텍스트가 필요한 작업이라면 최소 64000 토큰으로 잡아두는 걸 권장해요.
컨텍스트 길이 설정하기
컨텍스트 길이를 크게 잡을수록 모델을 실행하는 데 필요한 메모리가 늘어납니다. 늘리기 전에 VRAM이 충분한지 먼저 확인해 두세요.
클라우드 모델은 기본적으로 최대 컨텍스트 길이로 설정돼 있어요.
앱
Ollama 앱의 설정에서 원하는 컨텍스트 길이로 슬라이더를 조정하면 됩니다.
CLI
앱에서 컨텍스트 길이를 설정할 수 없는 상황이라면, Ollama 서버를 띄울 때 함께 지정할 수도 있어요.
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
할당된 컨텍스트 길이와 모델 오프로딩 확인하기
성능을 최대로 끌어내려면 모델에 맞는 최대 컨텍스트 길이를 쓰는 게 좋고, 모델이 CPU로 오프로딩되지 않도록 하는 것도 중요해요. ollama ps로 PROCESSOR 항목의 분배를 확인해 보면 됩니다.
ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma4:latest c6eb396dbd59 9.6 GB 100% GPU 131072 2 minutes from now