컨텍스트 윈도우와 컨텍스트 로트 — 한정된 자원 다루기

컨텍스트 윈도우와 컨텍스트 로트

LLM의 컨텍스트 윈도우는 모델이 한 번에 '작업 메모리'로 다룰 수 있는 토큰 공간이에요. 커질수록 좋아 보이지만, 단순히 공간이 크다고 좋은 건 아니에요.

큰 컨텍스트가 항상 좋은 건 아니다

토큰 수가 늘어날수록 정확도와 회상(recall)이 떨어지는 현상을 컨텍스트 로트라고 해요. 그래서 '얼마나 많은 공간이 있느냐'만큼 '무엇을 그 안에 넣느냐'를 정제하는 게 중요해요. Anthropic은 이 현상을 곡선으로 다루라고 조언해요 — 컨텍스트를 설계할 때 이 열화를 피하도록 조정하라는 뜻이에요.

API 동작 기준

컨텍스트 윈도우를 넘는 입력이 오면 모든 모델에서 prompt is too long 400 에러를 반환해요.
큰 모델군은 1M 토큰, 하위 모델은 200K 토큰 컨텍스트를 제공해요.
컨텍스트 수정(context editing) 같은 도구로 오래된 도구 결과·생각 블록을 비워낼 수 있어요.

컨텍스트 로트에 대응하는 전략

커진 컨텍스트의 열화를 피하려면 무엇을 넣을지 능동적으로 정제해야 해요. 캐시·컴팩션·도구 결과 정리 같은 기법이 이 지점에서 빛을 발해요. 길어지는 작업에서는 '덜 넣고, 매번 정리하고'가 기본이 돼요.