콘텐츠로 이동

컨텍스트·문맥 최적화 (Context)

모델에 넣는 문맥이 많아질수록 결과가 좋아질까요? 꼭 그렇지는 않아요. 필요한 문맥을 어떻게 배열하고 어떤 부분을 강조하느냐가 결과를 좌우합니다. 컨텍스트 최적화는 모델이 긴 문맥에서도 핵심을 놓치지 않게 정리하는 일입니다. 이 페이지는 소스 문서 Anthropic Prompt Engineering 을 바탕으로 긴 문맥을 다루는 방법을 설명합니다.

개요

회사 문서나 리포트처럼 양이 많은 자료를 모델에 넣을 때, 그냥 통째로 붙이면 토큰이 커지고 필요 없는 내용이 핵심을 묻을 수 있어요. 그래서 "무엇을 넣고, 어디에 두고, 어떻게 구획할지"를 정하는 게 핵심입니다. 컨텍스트가 길어도 모델이 관련 부분에 집중하게 만드는 것이 목표예요. 특히 토큰 예산이 커질수록 이 정리가 성능과 비용을 함께 좌우합니다.

핵심 개념

긴 데이터는 위쪽에 배치

긴 문서나 데이터가 많을 때는 긴 형식의 자료를 프롬프트 상단에, 질문·지시·예시는 그 아래에 두는 것이 좋습니다. 자료를 먼저 읽고 나서 지시를 처리하는 순서로 흐름을 만들면, 모델이 자료를 기준으로 답을 만들기 쉬워져요. 자료를 뒤에 섞어 넣으면 지시가 먼저 해석되면서 흐름이 어긋날 수 있습니다.

문서 구획을 태그로 정리

여러 문서를 넣을 때는 XML 태그로 구조를 잡습니다. 각 문서를 <document index="1">처럼 묶고, 그 안에 <source>, <document_content> 같은 하위 태그로 출처와 내용을 구분합니다. 이렇게 하면 모델이 "어떤 문서가 어떤 출처의 내용인지"를 구분하고, 지시에 따라 필요한 문서에만 집중합니다.

인용으로 답을 근거에 고정

긴 문서를 다룰 때는 "먼저 관련 부분을 인용하고 나서 작업"하도록 지시하면 효과적입니다. 답을 만들기 전에 해당 문장을 먼저 뽑아내는 식이요. 이렇게 하면 모델이 문서 전체를 훑기보다 관련 내용에 집중하고, 지어낸 내용보다 근거에 기반한 답을 냅니다.

필요한 문맥만 선별 (RAG와의 관계)

문맥이 너무 커지면 비용과 지연이 늘고, 관련 없는 내용이 답을 오염시킬 수 있어요. 그래서 필요한 조각만 찾아 넣는 검색 증강 생성(RAG)이 강력한 기법이 됩니다. 문서 전체 대신 관련 조각을 골라 넣으면, 프롬프트가 짧아지고 답의 정확도가 올라갑니다. 컨텍스트 최적화는 "얼마나 잘 정리하느냐"의 문제입니다.

실제 적용 (데이터스케쳐스)

  • 회사 지식 검색 — 사내 문서를 RAG로 조각화해 필요한 문맥만 프롬프트에 넣고, 태그로 출처를 구분해 답의 근거를 남깁니다.
  • 이벤트 리포트 — 경기 데이터를 긴 자료로 넣을 때 상단 배치와 구획 태그로, 보고서가 데이터에 근거하게 합니다.
  • 캔버스·웹빌더 — 사용자 설명이라는 문맥에 회사 톤 지시를 함께 넣되, 지시와 자료의 위치를 명확히 해 결과를 안정화합니다.
  • 비용·지연 제어 — 불필요한 문맥을 줄여 토큰 비용과 응답 지연을 낮춥니다.

더 알아보기