기밀 컴퓨팅 입문서
기밀 컴퓨팅 입문서 (Confidential Computing Primer)
Model Vault Encrypted를 구동하는 신뢰 실행 환경(TEE)과 GPU 기밀 컴퓨팅에 대한 입문서예요.
출처: 문서
본문
이 입문서는 Model Vault Encrypted 뒤에 있는 기밀 컴퓨팅 구성 요소들을 소개해요. 배경 지식용 읽을거리라서, 볼트를 배포하고 검증하기만 하면 된다면 Model Vault Encrypted 트랙부터 시작하세요.
왜 기밀 컴퓨팅인가
데이터는 보통 두 가지 상태에서는 보호되지만 세 번째 상태에서는 노출된 채로 남아요:
- 전송 중(In transit): 네트워크를 이동하는 동안 TLS로 보호돼요.
- 저장 중(At rest): 디스크 및 스토리지 암호화로 보호돼요.
- 사용 중(In use): 전통적으로 보호되지 않아요. 워크로드가 실행되는 동안 그 데이터는 메모리에 평문으로 존재하고, 호스트 운영 체제, 하이퍼바이저, 그리고 머신에 대한 권한 있는 접근 권한을 가진 누구라도 읽을 수 있어요.
기밀 컴퓨팅은 바로 그 마지막 공백을 메워요. 워크로드를 하드웨어 기반 신뢰 실행 환경 안에서 실행해서 데이터를 사용 중에도 보호해요. 프로세서가 워크로드의 메모리를 암호화하고 시스템의 나머지와 격리하며, 간섭도 감지할 수 있어요. 암호화 키는 프로세서 내부에 있어서 소프트웨어에 절대 노출되지 않으므로, 기본 인프라의 운영자조차 처리 중인 데이터를 읽거나 변경할 수 없어요. 그런 다음 데이터를 신뢰하기 전에 환경을 암호학적으로 검증할 수 있죠 (원격 증명 참조).
신뢰 실행 환경(TEE)
신뢰 실행 환경(TEE), 때로는 보안 enclave라고도 불리는 것은, 자체 보호 메모리와 실행을 가진 머신의 하드웨어 격리 영역이에요. 메모리를 하이퍼바이저와 호스트가 읽을 수 있는 일반적인 가상 머신과 달리, TEE는 메모리가 하드웨어에 의해 암호화되고 격리되어서, 그 안의 코드와 데이터가 호스트 운영 체제, 하이퍼바이저, 시스템 관리자를 포함한 모든 외부로부터 보호돼요.
TEE는 두 가지 핵심 보장을 제공해요:
- 사용 중 기밀성과 무결성: 워크로드가 사용하는 메모리는 하드웨어로 암호화되고, 키는 프로세서 내부에서 생성되어 결코 떠나지 않아요. 프로세서 밖의 데이터는 오직 암호문뿐이므로, 메모리 덤프, 콜드 부트 공격, 호스트의 DMA(Direct Memory Access)는 아무것도 얻지 못해요. 환경이 종료되면 키는 파괴돼요.
- 검증 가능성(Verifiability): 신뢰는 제공자의 약속이 아니라 암호학적 증명으로 수립돼요. 제조 시점에 칩에 내장된 키에 뿌리를 둔 하드웨어가 서명된 증거를 생성해서, 환경이 진짜 TEE 하드웨어라는 것과 그 안에 정확히 어떤 펌웨어·코드·구성이 로드되었는지를 증명해요. 이 증거는 독립적인 증명 서비스 (기밀 컴퓨팅 모델의 검증자(verifier))가 평가해서 정품인지, 그리고 환경의 암호화 키가 그것에 바인딩되어 있는지 확인하며, 원격 당사자는 데이터를 보내기 전에 그 결과를 확인할 수 있어요. Model Vault Encrypted는 이 증명 서비스로 **Intel Trust Authority (ITA)**를 사용해요. 이것이 원격 증명이에요.
CPU 기밀 컴퓨팅
최신 서버 CPU는 전체 가상 머신을 TEE 안에서 실행할 수 있는데, 이를 흔히 기밀 VM(confidential VM)이라고 불러요. CPU가 투명하게 VM의 메모리를 암호화하고 하이퍼바이저와 호스트로부터 격리해요. 애플리케이션 관점에서는 코드가 정상적으로 실행되고, 보호는 그 아래의 하드웨어에 의해 강제돼요.
Model Vault Encrypted는 하드웨어 기반 기밀 VM(예: Intel TDX 또는 AMD SEV-SNP) 안에서 추론 워크로드를 실행해서, 운영 체제, 하이퍼바이저, 클라우드 운영자가 VM의 메모리를 읽을 수 없게 해요.
GPU 기밀 컴퓨팅
모델 추론은 GPU에서 실행되므로 CPU만 보호하는 것으로는 부족해요. 프롬프트, 모델 가중치, 중간 활성화 값도 GPU 메모리를 통과하니까요. 최신 데이터센터 GPU는 TEE를 GPU까지 확장해서, GPU의 기밀 컴퓨팅 상태를 측정하고 증명할 수 있게 해요.
Model Vault Encrypted는 기밀 컴퓨팅 모드의 NVIDIA GPU에서 실행돼요. CPU TEE와 GPU 사이의 링크는 인증되고 암호화되며(SPDM 기반 보안 세션 사용), 그래서 기밀 VM과 GPU 사이를 이동하는 데이터가 호스트에 평문으로 노출되지 않아요.
이것이 바로 기밀 AI 추론을 가능하게 만드는 것이에요. 프롬프트와 응답이 요청 기간 내내 CPU와 GPU 양쪽 모두에서 보호되는 거죠.
Model Vault Encrypted가 이것을 어떻게 사용하나요
Model Vault Encrypted는 표준 볼트 위에 다음 프리미티브를 겹쳐 쌓아요:
- CPU와 GPU를 아우르는 하드웨어 기반 TEE: 추론이 기밀 컴퓨팅 모드의 증명된 NVIDIA GPU가 있는 하드웨어 기반 기밀 VM 안에서 실행되어, 프롬프트와 응답이 전송 중, 저장 중, 사용 중 모두 보호돼요.
- 측정된 부팅(Measured boot): 기밀 VM은 무결성이 보호된 이미지(펌웨어, 커널, 추론 워크로드의 검증된 측정값이 있는 읽기 전용 루트 파일시스템)에서 부팅하고, 컨테이너 정책이 그 안에서 실행될 수 있는 것을 제한해요. 증명이 이 측정값에 대해 확인하는 것이 바로 이 값이에요.
- TEE까지의 엔드투엔드 암호화: 클라이언트가 Oblivious HTTP(OHTTP)를 사용해 환경에 직접 요청을 암호화해요. 암호화 키는 TEE 내부에서 생성되고 Cohere와 절대 공유되지 않으므로, 로드 밸런서와 네트워크는 오직 암호문만 볼 수 있어요.
- 신뢰하기 전에 검증: 데이터를 보내기 전에 클라이언트가 원격 증명을 통해 배포를 검증하고, 환경이 진짜가 아니거나 예상치 못한 코드를 실행하고 있다면 연결을 거부해요.
신뢰 경계, 접근에서 제외되는 특정 당사자, 그리고 기밀 컴퓨팅이 완전히 제거하지 못하는 잔여 위험(사이드 채널, 물리적 공격 등)은 Security Model에 설명되어 있어요.