GCP에서 Self-hosted LangSmith

Google Cloud Platform (GCP)에서 LangSmith를 실행할 때, self-hosted 모드는 관측 가능성 기능을 갖춘 완전한 LangSmith 플랫폼을 배포해요.

이 페이지는 다음을 제공해요:

GKE 배포, 관리형 서비스 구성, 인증 설정을 위한 초기 설정 단계.
GCP 특화 아키텍처 패턴 및 참조 다이어그램.
서비스 권장 사항 및 모범 사례.
운영 우수성, 보안, 신뢰성을 위한 Google Cloud Well-Architected 모범 사례.

참고: LangChain은 GCP용 프로덕션 준비 Terraform 모듈을 게시하는데, 단일 워크플로에서 GKE, Cloud SQL, Memorystore, Cloud Storage, 네트워킹을 프로비저닝해요. Terraform과 Helm 전용 경로 중 선택하려면 Terraform으로 배포 개요부터 시작하세요.

출처: 문서

본문

초기 설정

[Kubernetes 설치 가이드](/langsmith/kubernetes)를 따라가세요. LangSmith는 Google Kubernetes Engine (GKE)에서 테스트됩니다.

**GKE 특화 참고 사항:**

* LangSmith는 표준 GKE 클러스터와 함께 작동해요
* GCE persistent disk 스토리지 클래스를 사용해요

프로덕션 배포에서는 GCP 관리형 서비스에 연결해요:

<CardGroup cols={2}>
  <Card title="Google Cloud Storage" icon="database" href="/langsmith/self-host-blob-storage#google-cloud-storage">
    GCS에 트레이스 데이터 저장
  </Card>

  <Card title="Cloud SQL" icon="database" href="/langsmith/self-host-external-postgres#google-cloud-sql">
    PostgreSQL 데이터베이스
  </Card>

  <Card title="Memorystore" icon="cpu" href="/langsmith/self-host-external-redis#google-cloud-memorystore">
    캐싱용 Redis 또는 Valkey
  </Card>

  <Card title="ClickHouse Cloud" icon="chart-line" href="/langsmith/self-host-external-clickhouse">
    분석 데이터베이스
  </Card>
</CardGroup>

[Workload Identity](https://cloud.google.com/kubernetes-engine/docs/how-to/workload-identity)를 사용해 LangSmith 포드를 GCP 서비스에 인증해요.

**핵심 페이지:**

* [GCS HMAC 키 인증](/langsmith/self-host-blob-storage#google-cloud-storage)
* [Cloud SQL IAM 인증](/langsmith/self-host-external-postgres#iam-authentication)
* [Memorystore IAM 인증](/langsmith/self-host-external-redis#iam-authentication)

이 초기 설정 단계를 완료한 후에는 아래의 전체 GCP 아키텍처와 모범 사례를 검토할 수 있어요.

참조 아키텍처

확장 가능하고 안전하며 복원력 있는 플랫폼을 제공하기 위해 GCP의 관리형 서비스를 활용하는 것을 권장해요. 다음 아키텍처는 self-hosted와 hybrid 모두에 적용되며 Google Cloud Well-Architected Framework에 부합해요:

Architecture diagram showing GCP relations to LangSmith services

인그레스 및 네트워킹: 요청은 Cloud Armor와 IAM 기반 인증으로 보호되는 VPC 내의 Cloud Load Balancing을 통해 들어와요.
프론트엔드 및 백엔드 서비스: 컨테이너는 로드 밸런서 뒤에서 오케스트레이션되는 Google Kubernetes Engine (GKE)에서 실행돼요. 필요에 따라 클러스터 내 다른 서비스로 요청을 라우팅해요.
스토리지 및 데이터베이스:
- PostgreSQL용 Cloud SQL: 메타데이터, 프로젝트, 사용자, 배포된 에이전트의 단기·장기 메모리. LangSmith는 PostgreSQL 버전 14 이상을 지원해요.
- Memorystore (Redis 또는 Valkey): 캐싱과 작업 큐. Memorystore는 단일 인스턴스 또는 클러스터 모드일 수 있어요. LangSmith는 Redis OSS 버전 6.2 이상 또는 Valkey 8이 필요해요.
- ClickHouse + Persistent Disks: 분석 및 트레이스 저장.
  - 보안이나 컴플라이언스상 이유로 못하게 하지 않는 한, 외부 관리 ClickHouse 솔루션을 사용할 것을 권장해요.
  - ClickHouse는 hybrid 배포에 필요하지 않아요.
- Cloud Storage: 트레이스 아티팩트와 텔레메트리를 위한 객체 스토리지.
LLM 통합: 선택적으로 Gemini Enterprise Agent Platform에 LLM 추론 요청을 프록시해요.
모니터링 및 관측 가능성: Cloud Monitoring 및 Cloud Logging과 통합해요.

컴퓨팅 옵션

다음 컴퓨팅 옵션을 요구사항에 따라 지원해요:

컴퓨팅 옵션	설명	적합한 용도
Google Kubernetes Engine (권장)	고급 확장 및 멀티 테넌트 지원	대규모 기업
Compute Engine 기반	완전한 제어, BYO-인프라	규제 또는 에어갭 환경

Google Cloud Well-Architected 모범 사례

이 참조는 Google Cloud Well-Architected Framework의 여섯 가지 기둥에 부합하도록 설계됐어요:

운영 우수성

IaC(Terraform / Deployment Manager)로 배포를 자동화해요.
구성과 민감한 데이터에는 Secret Manager를 사용해요.
LangSmith 인스턴스가 텔레메트리 데이터를 내보내도록 구성하고 Cloud Logging으로 지속적으로 모니터링해요.
LangSmith 배포를 관리하는 권장 방법은 Agent Server 이미지를 빌드해 Artifact Registry로 푸시하는 CI 프로세스를 만드는 것이에요. PR 머지 시 staging이나 production에 새 리비전을 배포하기 전에 PR에 대한 테스트 배포를 만들어요.

보안

최소 권한 정책을 가진 IAM 역할과 안전한 pod-to-GCP-service 인증을 위한 Workload Identity를 사용해요.
저장 데이터 암호화(Cloud SQL, Cloud Storage, Persistent Disks) 및 전송 중 암호화(TLS 1.2+)를 활성화해요.
자격 증명은 Secret Manager와 통합해요.
에이전트와 도구에 대한 접근을 보호하기 위해 LangSmith의 내장 인증·권한 부여 기능과 함께 IDP로 Identity Platform 또는 Workload Identity Federation을 사용해요.

신뢰성

LangSmith 데이터 플레인을 리전별로 복제해요: LangSmith Deployment를 위해 서로 다른 리전의 Kubernetes 클러스터에 동일한 데이터 플레인을 배포해요. 여러 영역에 Cloud SQL 및 GKE 서비스를 배포해요.
Horizontal Pod Autoscaler와 Cluster Autoscaler를 사용해 백엔드 워커에 자동 확장을 구현해요.
Cloud DNS 헬스 체크와 장애 조치 정책을 사용해요.

성능 최적화

최적화된 컴퓨팅을 위해 machine type selection과 함께 Compute Engine 인스턴스를 활용해요.
자주 접근하지 않는 트레이스 데이터에는 Cloud Storage lifecycle policies를 사용해 Nearline 또는 Coldline 저장 클래스로 이동해요.

비용 최적화

Committed Use Discounts와 Sustained Use Discounts를 사용해 GKE 클러스터의 크기를 적절히 조정해요.
Cloud Billing 대시보드와 Cost Management 도구로 비용 KPI를 모니터링해요.

지속 가능성

온디맨드 컴퓨팅과 자동 확장으로 유휴 워크로드를 최소화해요.
Cloud Storage lifecycle policies를 사용해 텔레메트리를 저지연·저비용 계층에 저장해요.
scheduled actions를 사용해 비프로덕션 환경의 자동 종료를 활성화해요.

보안 및 컴플라이언스

LangSmith는 다음을 위해 구성할 수 있어요:

Private Service Connect 전용 접근(청구에 필요한 이그레스 외에는 공개 인터넷 노출 없음).
Cloud Storage, Cloud SQL, Persistent Disks에 대한 Cloud KMS 기반 암호화 키.
Cloud Logging 및 Cloud Audit Logs로의 감사 로깅.

고객은 필요에 따라 ISO, HIPAA 또는 기타 규제 요구사항을 준수하기 위해 Assured Workloads 리전에 배포할 수 있어요.

모니터링 및 평가

LangSmith를 사용해:

Gemini Enterprise Agent Platform에서 실행되는 LLM 앱에서 트레이스를 캡처해요.
LangSmith 데이터셋을 통해 모델 출력을 평가해요.
지연 시간, 토큰 사용량, 성공률을 추적해요.

다음과 통합해요:

Cloud Monitoring 대시보드.
OpenTelemetry 및 Prometheus exporter.

GCP에서 Self-hosted LangSmith