The Cohere Platform 개요
The Cohere Platform 개요
Cohere는 Command, Rerank, Embed 같은 세계적인 수준의 대규모 언어 모델(LLM)을 제공해서, 개발자와 기업이 LLM 기반 애플리케이션을 만들 수 있게 도와줘요.
출처: 문서
본문
대규모 언어 모델(LLM)
언어는 중요해요. 우리가 세상을 배우는 방식(예: 뉴스, 웹 검색, 위키백과)이기도 하고, 세상을 만들어 가는 방식(예: 계약서, 법률, 메시지)이기도 하죠. 언어는 또 사람으로서, 집단과 회사로서 우리가 연결되고 소통하는 방식이기도 해요.
소프트웨어가 빠르게 진화해 왔음에도 불구하고, 컴퓨터가 언어를 다루는 능력은 여전히 제한적이에요. 소프트웨어는 텍스트에서 정확히 일치하는 항목을 찾아내는 데는 뛰어나지만, 인간이 매일 사용하는 더 고도화된 언어 사용에는 종종 실패하죠.
언어를 더 잘 이해하는 더 지능적인 도구가 분명히 필요해요.
인공지능(AI)의 최근 돌파구 중 하나는, 이전보다 훨씬 풍부한 언어 이해력을 갖춘 더 지능적인 시스템을 구축할 수 있게 해 주는 언어 처리 기술의 등장이에요. 크게 사전 학습된 Transformer 언어 모델, 줄여서 그냥 대규모 언어 모델은 시스템이 텍스트로 할 수 있는 일의 범위를 엄청나게 확장해 줘요.
생각해 보세요. Google Search를 강화하기 위해 언어 모델을 추가한 것은 "지난 5년간 가장 큰 도약이자, Search 역사에서 가장 큰 도약 중 하나"로 평가되기도 했어요. Microsoft 역시 Bing 검색 엔진의 모든 검색어에 그런 모델을 사용하고 있어요.
이런 모델이 유용함에도 불구하고, 효과적으로 학습하고 배포하는 것은 데이터, 컴퓨팅, 엔지니어링 자원에 큰 투자를 요구하는 자원 집약적인 작업이에요.
Cohere의 LLM
Cohere는 개발자와 기업이 LLM 기반 애플리케이션을 만들 수 있게 도와줘요. 세계적인 수준의 모델을 만들고, 그 모델을 안전하고 비공개적으로 배포하는 데 필요한 지원 플랫폼을 함께 제공함으로써 말이죠.
Command 모델군에는 Command A+, Command A, Command R7B, Command R+, Command R이 있어요. 이들은 함께 대화형 에이전트, 요약, 카피라이팅 같은 사례를 구동하는 텍스트 생성 LLM이에요. retrieval augmented generation RAG를 사용하거나 사용하지 않고 쓸 수 있는 Chat 엔드포인트를 통해 동작해요.
Rerank는 기존 검색 시스템에 언어 모델의 지능을 주입하는 가장 빠른 방법이에요. Rerank 엔드포인트로 접근할 수 있어요.
Embed는 검색, 분류, 클러스터링, RAG 결과의 정확도를 향상시켜요. Embed 및 Classify 엔드포인트도 함께 구동해 주죠.
Cohere 파운데이션 모델에 대해 더 알아보려면 LLMU를 방문해 보세요.
예시 애플리케이션
플레이그라운드를 사용해서 LLM 기반 대화형 에이전트가 어떤 모습인지 직접 볼 수 있어요. 대화하고, 텍스트를 요약하고, 이메일과 기사를 작성할 수 있죠.
하지만 우리의 목표는 여러분이 직접 LLM 기반 애플리케이션을 구축할 수 있게 하는 거예요. 예를 들어 Chat 엔드포인트는 Command 모델군으로 구동되는 대화형 에이전트를 만드는 데 사용할 수 있어요.
검색 증강 생성(RAG)
"그라운딩(Grounding)"이란 LLM이 외부 데이터 소스(예: 인터넷이나 회사 내부 기술 문서)에 접근할 수 있게 하는 관행을 말해요. 그러면 더 사실적이고 정확한 생성 결과가 나오죠.
아래 스크린샷에서는 Chat이 그라운딩을 활성화한 상태로 사용되고 있어요. 답변이 얼마나 정확하고 정보가 풍부한지 볼 수 있죠.
게다가 고급 RAG 기능 덕분에, 모델이 작업을 수행할 때 생성하는 기반 쿼리(underlying query)를 직접 볼 수 있고, 출력에는 사용된 정보를 어디서 찾았는지 가리키는 인용(citations)이 포함돼요. 쿼리와 인용 모두 Cohere Embed 및 Rerank 모델과 함께 활용해, 이 가이드에 나오는 것 같은 놀라울 만큼 강력한 RAG 시스템을 구축할 수 있어요.
Cohere 서빙 플랫폼에 대해 더 알아보려면 LLMU를 방문해 보세요.
고급 검색 및 검색
임베딩(embedding)을 사용하면 구절이 포함하는 키워드가 아니라 구절이 의미하는 바에 기반해서 검색할 수 있어요. 그래서 맥락과 사용자 의도를 이전보다 훨씬 잘 반영하는 검색 시스템을 만들 수 있죠.
의미 기반 검색(semantic search)에 대해 더 알아보려면 LLMU를 방문해 보세요.
파인튜닝(Fine-Tuning)
파인튜닝된 모델을 만들려면, 데이터셋을 업로드하기만 하면 되고, 우리가 맞춤형 모델을 학습시킨 다음 배포해 드려요. 파인튜닝은 생성 모델, 다중 레이블 분류 모델, rerank 모델, 챗 모델로 할 수 있어요.
Cohere 모델 접근하기
프라이버시/보안 요구사항에 따라 Cohere 모델에 접근하는 방법은 여러 가지가 있어요:
- Cohere API: 가장 쉬운 방법이에요. 대시보드에서 API 키를 가져와서 Cohere가 호스팅하는 모델을 바로 사용하면 돼요.
- Model Vault: Cohere가 관리하는 전용의 단일 테넌트 인프라에서 Cohere 모델을 실행해요. 동일한 API로 볼트(vault)와 통신하며, 워크로드는 다른 테넌트와 격리돼요. 가장 민감하거나 규제가 있는 워크로드라면 Model Vault Encrypted에 기밀 컴퓨팅이 더해져서 추론이 완전히 암호화되어 실행되고, 원격 증명으로 그 보호를 검증할 수 있어요.
- 클라우드 AI 플랫폼: 사용 편의성과 보안의 균형을 제공하는 옵션이에요. Oracle의 GenAI Service, AWS의 Bedrock과 Sagemaker 플랫폼, Google Cloud, Azure의 AML 서비스 같은 다양한 클라우드 AI 플랫폼에서 Cohere에 접근할 수 있어요.
- 프라이빗 클라우드 배포: 대부분의 가상 사설 클라우드(VPC) 환경에서 Cohere 모델을 비공개로 배포할 수 있으며, 향상된 보안과 가장 높은 수준의 커스터마이징을 제공해요. 자세한 내용은 영업팀에 문의해 주세요.
온프레미스 및 Air Gapped 솔루션
- 온프레미스: 조직이 클라우드에 둘 수 없는 민감한 데이터를 다룬다면, 자체 인프라에서 완전히 비공개 배포하는 옵션도 제공해요. 자세한 내용은 영업팀에 문의해 주세요.
무엇을 만들고 있는지 알려 주세요
이 개요를 통해 생성형 AI 모델로 무엇을 만들지 기대가 되셨길 바래요. 질문이 있거나 프로젝트를 보여주고 싶다면 Discord로 연락해 주세요. Cohere 커뮤니티의 소식을 듣는 걸 무척 좋아한답니다!