컨텍스트 관리
컨텍스트 관리
모든 대화에는 컨텍스트 창(context window)이 있어요. 이는 모델이 한 번에 고려할 수 있는 텍스트의 양으로, 메시지, 에이전트의 응답, 도구 결과, 범위 내의 지침이나 파일을 포함해요. CoCo Desktop은 이 창이 어떻게 사용되는지에 대한 가시성과, 긴 대화가 반응성을 유지하도록 창을 명확히 유지하는 도구를 제공해요.
본문
토큰 세부 내역 보기
컴포저(메시지 입력) 오른쪽 아래의 컨텍스트 링은 대화가 컨텍스트 창을 소비함에 따라 채워져, 남은 공간을 한눈에 볼 수 있어요. 링 위에 마우스를 올리면 Context window 팝오버가 열리고, 총 토큰 중 사용된 토큰, 사용 비율, 공간을 차지하는 것의 추정 세부 내역이 표시돼요.
주의 세부 내역은 추정치이며, 링의 사용량은 100%로 제한되므로 큰 도구 실행 중에도 불가능한 값을 보고하지 않아요.
대화 압축(Compact)
대화가 길어지면 채팅 입력에서 /compact를 실행해 기록을 요약하고 컨텍스트를 확보해요. 압축은 모델이 전달하는 이전 턴을 간결한 요약으로 바꿔, 에이전트가 모든 것을 다시 읽지 않고도 무엇을 하고 있었는지 맥락을 유지하게 해요. 전체 대화는 화면에 계속 표시돼요.
세션이 길어지고 있지만 새 대화를 시작하는 대신 같은 대화를 계속하고 싶을 때 /compact를 사용해요.
자동 토큰 절약
CoCo는 또한 스스로 토큰 사용을 줄여요. 예를 들어 가장 많이 사용하는 도구를 앞서 로드하고 나머지는 요청 시 발견하며, 큰 도구 결과를 컨텍스트 대신 디스크로 오프로드하고, 매 턴 대화의 새 부분만 보내요. 이러한 동작은 자동이며 구성이 필요 없어요.