AWS에서 LangSmith 자체 호스팅

Amazon Web Services(AWS)에서 LangSmith를 실행하면 자체 호스팅 모드가 관측성 기능을 갖춘 완전한 LangSmith 플랫폼을 배포해요. 이 페이지는 EKS 배포 초기 설정, AWS 특화 아키텍처 패턴, 서비스 권장 사항, 그리고 AWS Well-Architected 모범 사례를 제공합니다.

출처: 문서

본문

Amazon Web Services(AWS)에서 LangSmith를 실행하면 자체 호스팅 모드가 관측성 기능을 갖춘 완전한 LangSmith 플랫폼을 배포합니다.

이 페이지는 다음을 제공합니다:

EKS에 배포하고, 관리형 서비스를 구성하고, 인증을 설정하는 초기 설정 단계.
AWS 특화 아키텍처 패턴 및 참조 다이어그램.
서비스 권장 사항 및 모범 사례.
운영 우수성, 보안, 신뢰성을 위한 AWS Well-Architected 모범 사례.

참고: LangChain은 EKS, RDS, ElastiCache, S3, 네트워킹을 단일 워크플로우로 프로비저닝하는 프로덕션 준비 AWS용 Terraform 모듈을 게시합니다. Terraform과 Helm 전용 경로 중에서 선택하려면 Terraform 배포 개요로 시작하세요.

초기 설정

1. Kubernetes에 배포

Kubernetes 설치 가이드를 따르세요. LangSmith는 Amazon Elastic Kubernetes Service(EKS)에서 테스트됩니다.

EKS 특화 메모:

영구 저장을 위해 EBS CSI Driver가 설치되었는지 확인하세요.
ebs.csi.aws.com 저장 클래스 프로비저너를 사용하세요.

2. 외부 서비스 구성

프로덕션 배포의 경우 AWS 관리형 서비스에 연결합니다:

Amazon S3 — 트레이스 데이터를 S3에 저장
Amazon RDS — PostgreSQL 데이터베이스
Amazon ElastiCache — 캐싱용 Redis 또는 Valkey
ClickHouse Cloud — 분석 데이터베이스

3. 인증 설정

IAM Roles for Service Accounts (IRSA)를 사용해 정적 자격 증명 없이 LangSmith 파드를 AWS 서비스에 인증합니다.

주요 페이지:

이 초기 설정 단계를 완료한 후 아래에서 완전한 AWS 아키텍처와 모범 사례를 검토할 수 있습니다.

참조 아키텍처

확장 가능하고 안전하며 탄력적인 플랫폼을 제공하려면 AWS의 관리형 서비스를 활용하는 것을 권장합니다. 다음 아키텍처는 자체 호스팅과 하이브리드에 모두 적용되며 AWS Well-Architected 프레임워크와 일치합니다:

AWS architecture diagram

Ingress & 네트워킹: 요청은 VPC 내 Amazon Application Load Balancer (ALB)를 통해 들어오며, AWS WAF와 IAM 기반 인증으로 보호됩니다.
프론트엔드 및 백엔드 서비스: 컨테이너는 Amazon EKS에서 실행되며, ALB 뒤에서 오케스트레이션되어 필요에 따라 클러스터 내 다른 서비스로 요청을 라우팅합니다.
저장 및 데이터베이스:
- Amazon RDS for PostgreSQL 또는 Aurora: 메타데이터, 프로젝트, 사용자, 배포된 에이전트의 단기/장기 메모리. LangSmith는 PostgreSQL 14 이상을 지원합니다.
- Amazon ElastiCache(Redis 또는 Valkey): 캐싱 및 작업 큐. ElastiCache는 단일 인스턴스 또는 클러스터 모드로 가능합니다. LangSmith는 Redis OSS 6.2 이상 또는 Valkey 8이 필요합니다.
- ClickHouse + Amazon EBS: 분석 및 트레이스 저장.
  - 보안 또는 규정 준수 사유로 불가능하지 않다면 외부 관리형 ClickHouse 솔루션을 사용하는 것을 권장합니다.
  - ClickHouse는 하이브리드 배포에 필요하지 않습니다.
- Amazon S3: 트레이스 아티팩트 및 텔레메트리용 객체 저장.
LLM 통합: 선택적으로 LLM 추론을 위해 Amazon Bedrock 또는 Amazon SageMaker로 요청을 프록시합니다.
모니터링 및 관측성: Amazon CloudWatch와 통합.

컴퓨트 옵션

LangSmith는 요구 사항에 따라 여러 컴퓨트 옵션을 지원합니다:

컴퓨트 옵션	설명	적합한 경우
Elastic Kubernetes Service (권장)	고급 스케일링 및 멀티 테넌트 지원	대기업
EC2 기반	완전한 제어, 자체 인프라(BYO-infra)	규제 또는 공기 차단(air-gapped) 환경

AWS Well-Architected 모범 사례

이 참조는 AWS Well-Architected 프레임워크의 6개 기둥과 일치하도록 설계되었습니다:

운영 우수성

IaC로 배포 자동화(CloudFormation / Terraform).
구성에 AWS Systems Manager Parameter Store 사용.
LangSmith 인스턴스를 텔레메트리 데이터 내보내기로 구성하고 CloudWatch Logs로 지속적으로 모니터링.
LangSmith 배포를 관리하는 권장 방법은 Agent Server 이미지를 빌드해 ECR로 푸시하는 CI 프로세스를 만드는 것입니다. PR 머지 시 스테이징이나 프로덕션에 새 리비전을 배포하기 전에 풀 리퀘스트용 테스트 배포를 만드세요.

보안

최소 권한 정책으로 IAM 역할 사용.
저장 시 암호화(RDS, S3, ClickHouse 볼륨) 및 전송 시 암호화(TLS 1.2+) 활성화.
자격 증명용 AWS Secrets Manager와 통합.
LangSmith의 내장 인증/권한 부여 기능과 함께 IDP로 Amazon Cognito를 사용해 에이전트와 그 도구에 대한 접근을 보호.

신뢰성

LangSmith 데이터 플레인을 지역 간에 복제: LangSmith Deployment용으로 서로 다른 지역의 Kubernetes 클러스터에 동일한 데이터 플레인을 배포합니다. RDS 및 ECS 서비스를 Multi-AZ로 배포합니다.
백엔드 워커에 자동 스케일링 구현.
Amazon Route 53 상태 확인과 장애 조치 정책 사용.

성능 효율성

최적화된 컴퓨트를 위해 EC2 인스턴스 활용.
자주 접근하지 않는 트레이스 데이터에 S3 Intelligent-Tiering 사용.

비용 최적화

Compute Savings Plans로 EKS 클러스터를 적절한 크기로 조정.
AWS Cost Explorer 대시보드로 비용 KPI 모니터링.

지속 가능성

온디맨드 컴퓨트로 유휴 워크로드 최소화.
저지연, 저비용 계층에 텔레메트리 저장.
비프로덕션 환경용 자동 종료 활성화.

보안 및 규정 준수

LangSmith는 다음에 맞게 구성할 수 있습니다:

PrivateLink 전용 접근(청구에 필요한 이그레스 외의 공개 인터넷 노출 없음).
S3, RDS, EBS용 KMS 기반 암호화 키.
CloudWatch 및 AWS CloudTrail로의 감사 로깅.

고객은 필요에 따라 GovCloud, ISO, HIPAA 지역에 배포할 수 있습니다.

모니터링 및 평가

LangSmith를 사용해:

Bedrock 또는 SageMaker에서 실행 중인 LLM 앱의 트레이스를 캡처.
LangSmith 데이터셋으로 모델 출력을 평가.
지연 시간, 토큰 사용량, 성공률을 추적.

다음과 통합:

AWS CloudWatch 대시보드.
OpenTelemetry 및 Prometheus 내보내기.

더 알아보기

Kubernetes 설치 방법은 Kubernetes 문서를 참고하세요.
Terraform 배포는 Deploy with Terraform 문서를 확인해 보세요.