용어 사전

용어 사전 (Glossary)

이번 페이지에서는 클로드와 언어 모델을 다룰 때 자주 만나게 되는 핵심 용어들을 간결하게 정리해 봤어요. 이 개념들은 클로드만의 전유물은 아니고, 생성형 AI와 LLM 전반을 이해하는 데 폭넓게 쓰이는 기초 용어들이에요. 하나씩 천천히 읽어 보면 문서를 볼 때 훨씬 편해질 거예요.

출처: 문서

본문

컨텍스트 창 (Context window)

"컨텍스트 창"이란 언어 모델이 새 텍스트를 생성할 때 되돌아보고 참고할 수 있는 텍스트의 양을 말해요. 이는 언어 모델이 학습에 사용한 방대한 데이터 말뭉치와는 다른 것으로, 모델의 "작업 기억(working memory)"을 나타내요. 컨텍스트 창이 클수록 모델은 더 복잡하고 긴 프롬프트를 처리하고 응답할 수 있고, 반대로 작을수록 긴 프롬프트를 다루거나 긴 대화에서 일관성을 유지하는 능력이 제한될 수 있어요.

더 자세한 내용은 컨텍스트 창 이해 가이드를 참고하세요.

파인튜닝 (Fine-tuning)

파인튜닝은 사전 학습된 언어 모델에 추가 데이터를 사용해 더 학습시키는 과정이에요. 이렇게 하면 모델이 파인튜닝 데이터셋의 패턴과 특성을 따라 나타내기 시작해요. 클로드는 단순한 언어 모델이 아니라 이미 유용한 어시스턴트가 되도록 파인튜닝된 모델이에요. 현재 클로드 API는 파인튜닝을 제공하지 않지만, 이 옵션에 관심이 있다면 담당 Anthropic 담당자에게 문의해 보세요. 파인튜닝은 언어 모델을 특정 도메인, 작업, 또는 글쓰기 스타일에 맞추는 데 유용하지만, 파인튜닝 데이터와 모델의 성능·편향에 미칠 잠재적 영향을 신중하게 고려해야 해요.

HHH

HHH(helpful, honest, harmless, 즉 유용하고 정직하며 무해함)는 클로드가 사회에 유익하게 동작하도록 훈련되는 방식을 이끄는 연구 프레임워크예요. 이는 클로드 제품의 슬로건인 "AI assistant for life and work"와는 구별되는 개념이에요.

유용한(helpful) AI는 주어진 작업을 수행하거나 질문에 최선을 다해 답하려 하고, 관련성 있고 유용한 정보를 제공해요.
정직한(honest) AI는 정확한 정보를 제공하고 환각(hallucination)이나 허위 기억(confabulation)을 만들어 내지 않아요. 상황에 맞게 자신의 한계와 불확실성도 인정해요.
무해한(harmless) AI는 공격적이거나 차별적이지 않으며, 위험하거나 비윤리적인 행동을 도와달라는 요청을 받으면 정중하게 거절하고 왜 따를 수 없는지 설명해요.

지연 시간 (Latency)

생성형 AI와 대형 언어 모델의 맥락에서 지연 시간이란 모델이 주어진 프롬프트에 응답하는 데 걸리는 시간을 말해요. 프롬프트를 제출한 뒤 생성된 출력을 받기까지의 지연을 나타내며, 지연 시간이 낮을수록 응답이 빠르다는 뜻이에요. 이는 실시간 애플리케이션, 챗봇, 인터랙티브 경험에서 특히 중요해요. 지연 시간에 영향을 주는 요인으로는 모델 크기, 하드웨어 성능, 네트워크 상태, 프롬프트와 생성 응답의 복잡성 등이 있어요.

LLM (Large Language Model)

대형 언어 모델(LLM)은 매우 많은 파라미터를 가진 AI 언어 모델로, 놀랍도록 유용한 다양한 작업을 수행할 수 있어요. 이 모델들은 방대한 양의 텍스트 데이터로 학습되며, 사람처럼 자연스러운 텍스트를 생성하고, 질문에 답하고, 정보를 요약하는 등의 일을 해요. Anthropic이 만든 일과 삶을 위한 AI 어시스턴트인 클로드는 RLHF로 파인튜닝·훈련된 대형 언어 모델을 기반으로 해요.

MCP (Model Context Protocol)

Model Context Protocol(MCP)은 애플리케이션이 LLM에 컨텍스트를 제공하는 방식을 표준화하는 개방형 프로토콜이에요. 마치 AI 애플리케이션을 위한 USB-C 포트처럼, MCP는 AI 모델을 다양한 데이터 소스와 도구에 연결하는 통일된 방식을 제공해요. MCP를 사용하면 AI 시스템이 상호작용 전반에 걸쳐 일관된 컨텍스트를 유지하고 표준화된 방식으로 외부 리소스에 접근할 수 있어요. 자세한 내용은 MCP 문서를 참고하세요.

MCP 커넥터 (MCP connector)

MCP 커넥터는 MCP 클라이언트를 직접 만들지 않고도 Messages API에서 바로 MCP 서버에 연결할 수 있게 해주는 기능이에요. 이를 통해 클로드 API를 통해 MCP 호환 도구와 서비스를 매끄럽게 통합할 수 있어요. MCP 커넥터는 도구 호출(tool calling) 같은 기능을 지원하며 베타로 제공돼요. 자세한 내용은 MCP 커넥터 문서를 참고하세요.

사전 학습 (Pretraining)

사전 학습은 방대한 양의 레이블이 없는 텍스트 말뭉치에 언어 모델을 학습시키는 초기 과정이에요. 클로드의 경우, 자기회귀(autoregressive) 언어 모델(클로드의 기반 모델 같은)은 문서의 이전 텍스트 맥락을 바탕으로 다음 단어를 예측하도록 사전 학습돼요. 이렇게 사전 학습된 모델은 본래 질문에 답하거나 지시를 따르는 데 능숙하지 않으며, 원하는 동작을 끌어내려면 프롬프트 엔지니어링에 대한 깊은 숙련이 필요한 경우가 많아요. 파인튜닝과 RLHF는 이런 사전 학습된 모델을 다듬어 폭넓은 작업에서 더 유용하게 만드는 데 사용돼요.

RAG (Retrieval Augmented Generation, 검색 증강 생성)

검색 증강 생성(RAG)은 정보 검색과 언어 모델 생성 기능을 결합해 생성된 텍스트의 정확성과 관련성을 높이고, 모델의 응답을 근거에 더 잘 바탕을 두게 하는 기법이에요. RAG에서는 언어 모델에 외부 지식 베이스나 문서 집합을 보강해 컨텍스트 창에 넘겨줘요. 데이터는 모델에 쿼리가 전송될 때 런타임에서 검색되지만, 모델 자체가 데이터를 검색하지는 않아도 돼요.(물론 도구 사용(tool use)과 검색 함수를 쓰면 가능해요.) 텍스트를 생성할 때 먼저 입력 프롬프트를 바탕으로 지식 베이스에서 관련 정보를 검색한 뒤, 이를 원래 쿼리와 함께 모델에 넘겨줘요. 모델은 이 정보를 바탕으로 출력을 만들어 내요. 이렇게 하면 모델이 학습 데이터를 넘어서는 정보에 접근·사용할 수 있어, 암기에 대한 의존을 줄이고 생성 텍스트의 사실 정확성을 높여 줘요. RAG는 최신 정보, 도메인 특화 지식, 또는 출처의 명시적 인용이 필요한 작업에서 특히 유용해요. 다만 RAG의 효과는 외부 지식 베이스와 런타임에서 검색된 지식의 품질·관련성에 달려 있어요.

RLHF (Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화 학습)

인간 피드백 기반 강화 학습(RLHF)은 사전 학습된 언어 모델이 인간의 선호와 일치하는 방식으로 동작하도록 훈련하는 데 쓰는 기법이에요. 여기에는 모델이 지시를 더 효과적으로 따르도록 하거나 챗봇처럼 행동하게 하는 것이 포함돼요. 인간 피드백은 두 개 이상의 예시 텍스트를 순위를 매기는 것으로 구성되며, 강화 학습 과정은 모델이 높은 순위를 받은 출력과 유사한 결과를 선호하도록 유도해요. 클로드는 더 유용한 어시스턴트가 되도록 RLHF로 훈련됐어요. 자세한 내용은 Anthropic의 관련 논문을 읽어 보세요.

온도 (Temperature)

온도는 텍스트 생성 중 모델 예측의 무작위성을 조절하는 파라미터예요. 온도가 높을수록 더 창의적이고 다양한 출력이 나오고, 표현과 답변(픽션의 경우)에 여러 변형이 생겨요. 온도가 낮을수록 더 보수적이고 결정적인 출력이 나와 가장 가능성 높은 표현과 답변을 따르게 돼요. 온도를 조절하면 사용자가 가장 가능성 높은 예측만 고르는 대신, 드물고 흔하지 않으며 놀라운 단어 선택과 시퀀스를 탐색하도록 언어 모델을 유도할 수 있어요.

사용자는 API에서 비결정성(non-determinism)을 마주칠 수 있어요. 온도를 0으로 설정해도 결과가 완전히 결정적이지는 않으며, 동일한 입력이 API 호출마다 다른 출력을 만들 수도 있어요. 이는 Anthropic의 자체 추론 서비스와 타사 클라우드 제공업체를 통한 추론 모두에 해당해요.

TTFT (Time to First Token, 첫 토큰까지의 시간)

첫 토큰까지의 시간(TTFT)은 언어 모델이 프롬프트를 받은 뒤 첫 출력 토큰을 생성하는 데 걸리는 시간을 측정하는 성능 지표예요. 이는 모델의 응답성을 나타내는 중요한 지표이며, 사용자가 빠른 초기 피드백을 기대하는 인터랙티브 애플리케이션, 챗봇, 실시간 시스템에서 특히 관련이 있어요. TTFT가 낮을수록 모델이 응답 생성을 더 빨리 시작하며, 더 매끄럽고 몰입감 있는 사용자 경험을 제공해요. TTFT에 영향을 주는 요인으로는 모델 크기, 하드웨어 성능, 네트워크 상태, 프롬프트의 복잡성 등이 있어요.

토큰 (Tokens)

토큰은 언어 모델의 가장 작은 개별 단위로, 단어, 하위 단어, 문자, 또는 (유니코드의 경우) 바이트에 해당할 수 있어요. 클로드의 경우 토큰 하나는 대략 영어 문자 3.5개를 나타내지만, 정확한 숫자는 사용되는 언어에 따라 달라질 수 있어요. 언어 모델과 "텍스트" 수준에서 상호작용할 때 토큰은 보통 숨겨져 있지만, 언어 모델의 정확한 입력과 출력을 살펴볼 때는 관련이 있어요. 클로드가 평가할 텍스트를 받으면, 그 텍스트(일련의 문자로 구성된)는 모델이 처리할 일련의 토큰으로 인코딩돼요. 더 큰 토큰은 추론과 사전 학습 중 데이터 효율성을 높여 주며(가능할 때 사용됨), 더 작은 토큰은 모델이 흔하지 않거나 처음 보는 단어를 처리하게 해 줘요. 토큰화 방법의 선택은 모델의 성능, 어휘 크기, 어휘에 없는 단어를 처리하는 능력에 영향을 줄 수 있어요.