보안 모델
보안 모델 (Security Model)
Model Vault Encrypted의 신뢰 경계와 위협 모델이에요: 누가 데이터에 접근할 수 있고, 누가 접근할 수 없는지를 설명해요.
출처: 문서
본문
Model Vault Encrypted는 프롬프트와 응답이 기본 인프라의 운영자로부터조차 엔드투엔드로 보호되도록 설계되었어요. 이 페이지는 신뢰 경계, 접근에서 제외되는 당사자, 그리고 이 설계가 다루는 위협과 다루지 않는 위협을 설명해요.
기반 기술이 처음이라면 먼저 Confidential Computing Primer를 읽어 보세요.
추론 요청에 관여하는 당사자
일반적인 호스티드 추론 서비스에서는 여러 당사자가 요청 경로에 있으며, 재래식 배포에서는 데이터에 접근할 수 있을 수 있어요:
- 인프라 제공자: 컴퓨팅, 네트워킹, 하이퍼바이저를 제공해요. 매우 높은 권한을 가지며, 기밀 컴퓨팅이 없다면 호스트 메모리의 모든 것을 읽을 수 있어요.
- 서빙 및 플랫폼 계층: 모델을 로드하고 추론을 실행하는 소프트웨어예요.
- 모델 제공자: 모델 가중치를 제공해요.
- 서비스 운영자(Cohere): 구성 요소를 통합하고 서비스를 운영해요.
Model Vault Encrypted의 목표는 이들 어느 누구도 추론 중에 여러분의 평문 프롬프트나 응답에 접근할 수 없게 하는 것이에요.
신뢰 경계 (Trust boundary)
신뢰 경계는 볼트를 실행하는 하드웨어 기반 신뢰 실행 환경(TEE), 즉 하드웨어 기반 기밀 VM(예: Intel TDX 또는 AMD SEV-SNP)과 기밀 컴퓨팅 모드의 증명된 NVIDIA GPU로 구성돼요.
- 경계 안쪽: 추론 서버와, 처리되는 동안의 여러분의 프롬프트·응답. CPU 메모리는 기밀 VM이 하드웨어로 암호화하고, GPU는 기밀 컴퓨팅 모드로 실행되며, 둘 사이의 링크는 인증되고 암호화돼요. 그 내용은 외부의 그 어떤 것에도 보이지 않아요.
- 경계 바깥: 호스트 운영 체제, 하이퍼바이저, Kubernetes 및 오케스트레이션 계층, 로드 밸런서, 네트워크, 운영자 도구. 이 구성 요소들은 트래픽을 스케줄링하고 라우팅할 수 있지만, TEE 안의 내용을 읽을 수는 없어요.
여러분의 연결은 TEE 안에서 종료돼요. 요청은 OHTTP(Oblivious HTTP)로 환경에 직접 클라이언트 측에서 암호화되며, TEE 내부에서 생성되고 Cohere와 절대 공유되지 않는 키를 사용해요. 그래서 보호되는 곳에서만 복호화돼요.
누가 데이터에 접근할 수 없나요
보호가 운영상의 신뢰가 아니라 하드웨어 기반 격리로 강제되고 증명으로 검증되기 때문에, 다음 당사자들은 여러분의 평문 프롬프트나 응답을 읽을 수 없어요:
- Cohere (운영자와 지원 직원 포함).
- 클라우드 제공자와 하이퍼바이저 또는 호스트 수준 접근 권한을 가진 사람.
- 배포를 오케스트레이션하는 Kubernetes 컨트롤 플레인과 워커 노드.
- 로드 밸런서와 구성 요소 간 네트워크 (오직 OHTTP 암호문만 운반해요).
- 다른 테넌트: 여러분의 볼트는 전용 단일 테넌트 인프라에서 실행돼요 (Model Vault 개요 참조).
이것은 TEE에서의 메모리 암호화와 격리로 강제되고, 원격 증명을 통해 검증 가능해져서, 보장을 신뢰에만 맡기지 않아도 돼요.
위협 모델
범위 내 (설계가 이에 방어하도록 의도된 것들):
- 손상되거나 악의적인 호스트 운영 체제, 하이퍼바이저, 또는 오케스트레이션 계층.
- 사용 중 데이터를 읽으려 시도하는 클라우드 제공자나 Cohere의 권한 있는 내부자.
- 클라이언트와 볼트 사이 경로에 있는 네트워크 공격자 또는 손상된 로드 밸런서.
- 예상되는 추론 워크로드 대신 다른 또는 변조된 코드를 대체하려는 시도 (증명이 이를 감지하고 연결을 거부해요).
잔여 위험 (완전히 제거되지 않음):
- TEE 하드웨어에 대한 사이드 채널 공격(예: 타이밍, 캐시, 기타 마이크로아키텍처 누출)은 여전히 활발한 연구 분야예요.
- 하드웨어에 대한 깊은 물리적 접근이 필요한 공격(예: 전력 또는 전자기 분석, 칩 프로빙).
- 페이로드 내용은 보호되지만, 메타데이터와 트래픽 패턴 관찰(타이밍, 크기, 호출되는 모델).
- 가용성: 인프라 운영자가 여전히 스케줄링을 통제하고 환경을 중지하거나 재시작할 수 있어요.
신뢰 컴퓨팅 베이스 (Trusted Computing Base)
신뢰 컴퓨팅 베이스(TCB)는 기밀성 보장이 유지되기 위해 의존해야 하는 최소 구성 요소 집합이에요. Model Vault Encrypted는 이 집합을 작고 검증 가능하게 유지하도록 의도적으로 설계되었어요.
신뢰되는 것:
- 기밀 VM CPU 하드웨어와 펌웨어 (예: Intel TDX 또는 AMD SEV-SNP).
- NVIDIA GPU 하드웨어와 기밀 컴퓨팅 펌웨어.
- 증명 서비스로서의 Intel Trust Authority (그리고 선택적으로, 증명 서비스 자체를 검증할 수 있게 해 주는 Intel의 Faithful Verification 서비스).
- VM 이미지를 생성하고 측정값을 등록하는 재현 가능한 빌드 파이프라인 (오픈소스, 독립적으로 감사 가능).
- 컨테이너 정책과
initdata내용 (오픈소스, 감사 가능, 런타임에 강제). - 기밀 VM 안에서 실행되는 컨테이너 이미지 (오픈소스, 감사 가능, 런타임에 검증).
- 여러분 자신의 클라이언트 환경.
신뢰되지 않는 것:
- Cohere.
- 클라우드 제공자.
- Kubernetes 컨트롤 플레인과 워커 노드.
- 로드 밸런서.
- 구성 요소 사이의 네트워크 (TEE 내부에 머무는 네트워킹 제외).
- VM을 프로비저닝하는 구성 요소: 기밀 VM을 만들지만 그 안은 볼 수 없고, VM은 신뢰되기 전에 증명돼요.
클로즈드소스 플랫폼 구성 요소에 관한 참고
모든 계층이 오픈소스는 아니에요. 하드웨어 공급업체와 클라우드 플랫폼이 공급하는 일부 저수준 플랫폼 펌웨어와 가상 장치 구성 요소는 클로즈드소스이며, 독립적으로 검사 가능한 것이 아니라 하드웨어 공급업체의 신뢰 루트의 일부로 신뢰돼요. 이 잔여 신뢰의 정도는 플랫폼마다 다를 수 있어요. 증명은 여전히 이 구성 요소들이 정품이고 알려진 버전임을 증명하지만, Cohere의 오픈·재현 가능하게 빌드된 코드처럼 감사할 수는 없어요.
이 보장을 신뢰에 맡기는 대신 직접 검증할 수 있어요: 하드웨어 신뢰 루트가 증거를 고정하고, Intel Trust Authority가 이를 기대 측정값과 대조해 확인하며, 클라이언트가 데이터를 보내기 전에 증명 결과를 확인해요. Passport 모델과 증명 흐름이 엔드투엔드로 어떻게 작동하는지는 Remote Attestation을 참조하세요.