Cohere의 Command R+ 모델
Cohere의 Command R+ 모델
Command R+는 대화형 상호작용과 긴 컨텍스트 작업에 최적화된 Cohere 모델로, 복잡한 RAG 워크플로와 다단계 도구 사용에 가장 적합해요.
출처: 문서
본문
설명(Description)
참고(Note)
대부분의 사용 사례에서는 대신 최신 모델인 Command A를 추천해요.
Command R+는 대화형 상호작용과 긴 컨텍스트 작업에 최적화된 대규모 언어 모델이에요. 극도로 뛰어난 성능을 목표로 해, 기업이 개념 증명을 넘어 프로덕션으로 나아갈 수 있게 해줍니다.
복잡한 RAG 기능과 다단계 도구 사용(에이전트)에 의존하는 워크플로에는 Command R+를 사용하는 것을 권장해요. 반면 Command R은 더 단순한 검색 증강 생성(retrieval augmented generation)(RAG)과 단일 단계 도구 사용(single-step tool use) 작업, 그리고 가격이 주요 고려 사항인 애플리케이션에 적합합니다.
유해성, 안전성, 그리고 이 모델을 책임 있게 사용하는 방법에 대한 정보는 Command 모델 카드를 확인해 보세요.
Command R+ 2024년 8월 릴리스
Cohere의 주력 텍스트 생성 모델인 Command R과 Command R+는 2024년 8월에 대폭 업데이트를 받았어요. 우리는 이 모델들을 타임스탬프로 표기하기로 했기 때문에, API에서 Command R+ 08-2024는 command-r-plus-08-2024로 접근할 수 있습니다.
이 릴리스와 함께 두 모델 모두 다음과 같은 기능 개선을 포함합니다:
- 도구 사용에 있어 Command R과 Command R+는 도구를 사용할지 말지에 대한 의사 결정이 개선되었어요.
- 업데이트된 모델들은 요청의 시스템 메시지에 포함된 지침을 더 잘 따를 수 있습니다.
- 구조화된 데이터 조작을 위한 더 나은 구조화된 데이터 분석.
- 공백이나 줄바꿈 같은 비의미론적 프롬프트 변경에 대한 견고성이 개선되었어요.
- 모델이 답할 수 없는 질문은 거절하며, 이제 인용 없이 RAG 워크플로를 실행할 수 있어요.
특히 command-r-plus-08-2024는 이전 Command R+ 버전과 비교해 하드웨어 풋프린트는 동일하게 유지하면서 약 50% 더 높은 처리량과 25% 더 낮은 지연 시간을 제공해요. 관련 블로그 포스트에서 더 자세히 읽어보세요.
게다가 이 두 업데이트된 모델은 이제 여러 안전 모드 중 하나로 동작할 수 있어서, 개발자가 다양한 컨텍스트에서 모델이 출력을 생성하는 방식을 더 세밀하게 제어할 수 있게 해줘요. 안전 모드 문서에서 더 자세히 확인하세요.
마지막으로, 이 새로워진 모델들은 2023년 2월까지의 데이터로 학습되었기 때문에, 이 날짜 이후의 정보를 요구하는 질문을 하면 답변이 틀릴 가능성이 높아요. 하지만 RAG 기능이 인터넷이나 다른 정보 소스에 연결할 수 있어, 모델이 더 시의적절한 사실에 접근하고 출력 품질을 개선할 수 있습니다.
Command R+만의 고유 모델 능력
Command R+는 여러 언어로 된 방대한 다양한 텍스트 코퍼스로 학습되었으며, 폭넓은 텍스트 생성 작업을 수행할 수 있어요. 게다가 Command R+는 가장 중요한 비즈니스 사용 사례 중 일부에서 뛰어나도록 특별히 초점을 맞춰 학습되었습니다.
다국어 능력(Multilingual Capabilities)
이 모델은 다음 언어에서 잘 작동하도록 최적화되어 있어요: 영어(English), 프랑스어(French), 스페인어(Spanish), 이탈리아어(Italian), 독일어(German), 브라질 포르투갈어(Brazilian Portuguese), 일본어(Japanese), 한국어(Korean), 간체 중국어(Simplified Chinese), 아랍어(Arabic).
또한 다음 13개 언어에 대해 사전학습 데이터가 포함되어 있어요: 러시아어(Russian), 폴란드어(Polish), 터키어(Turkish), 베트남어(Vietnamese), 네덜란드어(Dutch), 체코어(Czech), 인도네시아어(Indonesian), 우크라이나어(Ukrainian), 루마니아어(Romanian), 그리스어(Greek), 힌디어(Hindi), 히브리어(Hebrew), 페르시아어(Persian).
이 모델은 사용자의 언어로 응답하도록 학습되었어요. 다음은 그 예시입니다:
프롬프트(Prompt)
Écris une description de produit pour une voiture électrique en 50 à 75 mots
생성 결과(Generation)
TEXT
Découvrez la voiture électrique qui va révolutionner votre façon de conduire.
Avec son design élégant, cette voiture offre une expérience de conduite unique
avec une accélération puissante et une autonomie impressionnante. Sa
technologie avancée vous garantit une charge rapide et une fiabilité inégalée.
Avec sa conception innovante et durable, cette voiture est parfaite pour les
trajets urbains et les longues distances. Profitez d'une conduite silencieuse
et vivez l'expérience de la voiture électrique!
Command R+는 번역이나 다른 언어의 콘텐츠에 대한 질문에 답하는 것 같은 교차 언어(cross-lingual) 작업도 수행할 수 있어요.
검색 증강 생성(Retrieval Augmented Generation)
Command R+는 영어 생성 결과를 근거시킬(ground) 수 있는 능력이 있어요. 즉 제공된 문서 스니펫 목록을 바탕으로 응답을 생성할 수 있고, 응답에 정보의 출처를 나타내는 인용(citations)을 포함시킬 수 있다는 뜻이에요.
자세한 내용은 검색 증강 생성(retrieval augmented generation)에 대한 전용 가이드를 확인해 보세요.
다단계 도구 사용(Multi-Step Tool Use)
도구 사용(Tool use)은 개발자가 Cohere 모델을 검색 엔진, API, 함수, 데이터베이스 등 외부 도구에 연결하고 이를 사용해 다양한 작업을 수행하게 해주는 기법이에요.
도구 사용에는 단일 단계(single-step)와 다단계(multi-step) 변형이 있어요. 전자의 경우 모델은 응답을 생성하기 위해 여러 도구에 접근할 수 있고 여러 도구를 호출할 수 있지만, 이 모든 작업을 단일 단계에서 해야 해요. 모델은 일련의 단계를 실행할 수 없고, 한 도구 호출의 결과를 후속 단계에서 사용할 수 없어요. 반면 후자의 경우 모델은 일련의 단계에서 두 개 이상의 도구를 호출할 수 있고, 한 도구 호출의 결과를 후속 단계에서 사용할 수 있어요. 이 과정을 통해 언어 모델은 추론하고, 동적 작업을 수행하며, 외부 소스에서 오는 정보를 바탕으로 빠르게 적응할 수 있습니다.
Command R+는 다단계 도구 사용 능력으로 학습되었으며, 이를 통해 간단한 에이전트를 구축할 수 있어요. 이 기능은 대화(선택적 사용자-시스템 프리앰블 포함)와 사용 가능한 도구 목록을 입력으로 받아들입니다. 그러면 모델은 해당 도구들의 하위 집합에서 실행할 작업들의 json 형식 목록을 생성해요. 자세한 내용은 전용 다단계 도구 사용(multi-step tool use) 가이드를 확인해 보세요.