자체호스팅 LangSmith

자체호스팅 LangSmith (Self-hosted LangSmith)

가장 보안에 민감한 대형 고객을 위해 Enterprise 플랜의 애드온으로 제공하는 자체호스팅 LangSmith에 대해 설명해요.

출처: 자체호스팅 LangSmith (Self-hosted LangSmith)

참고 — 자체호스팅 LangSmith는 가장 규모가 크고 보안에 민감한 고객을 위해 설계된 Enterprise 플랜 애드온입니다. 자세한 내용은 Pricing을 참고하세요. 자체 환경에서 LangSmith를 시험해 볼 라이선스 키를 받고 싶다면 영업팀에 문의하세요.

옵저버빌리티, 평가, 프롬프트 엔지니어링을 위해 자체 인프라에 LangSmith 인스턴스를 호스팅할 수 있어요. 선택적으로 LangSmith Deployment를 활성화해 LangSmith UI로 에이전트를 배포·관리할 수도 있습니다.

참고 — AWS, GCP, Azure에서 자체호스팅 LangSmith를 설정하는 단계별 가이드는 클라우드 아키텍처 문서를 확인하세요: AWS, GCP, Azure.

참고 — 설치·업그레이드 전에 자체호스팅 의존성 최소 버전을 검토하세요.

포함되는 것

자체호스팅 LangSmith 인스턴스는 다음을 포함합니다.

서비스:

  • LangSmith 프론트엔드 UI
  • LangSmith 백엔드 API
  • LangSmith 플랫폼 백엔드
  • LangSmith Playground
  • LangSmith queue
  • LangSmith ACE (임의 코드 실행) 백엔드

저장소 서비스:

  • ClickHouse (트레이스·피드백 데이터)
  • PostgreSQL (운영 데이터)
  • Redis (큐잉·캐싱)
  • Blob 저장소 (선택 사항이지만 운영에 권장)

LangSmith UI에 접근하고 API 요청을 보내려면 LangSmith 프론트엔드 서비스를 노출해야 해요. 설치 방법에 따라 로드 밸런서 또는 호스트 머신에 노출된 포트가 될 수 있습니다.

서비스

서비스 설명
LangSmith frontend 프론트엔드는 Nginx를 사용해 LangSmith UI를 서빙하고 API 요청을 다른 서버로 라우팅해요. 애플리케이션의 진입점 역할을 하며 사용자에게 노출되어야 하는 유일한 컴포넌트입니다.
LangSmith backend 백엔드는 CRUD API 요청의 주요 진입점이자 애플리케이션 비즈니스 로직의 대부분을 처리해요. 프론트엔드와 SDK 요청 처리, 트레이스 수집 준비, 허브 API 지원을 포함합니다.
LangSmith queue 들어오는 트레이스와 피드백을 처리해 비동기적으로 트레이스·피드백 데이터스토어에 저장합니다. 데이터 무결성 검사와 데이터스토어 저장 성공 보장, DB 오류나 DB 연결 불가 상황의 재시도를 담당해요.
LangSmith platform backend 인증, 런 수집, 기타 고볼륨 작업을 주로 처리하는 또 다른 핵심 서비스예요.
LangSmith Playground Playground 기능을 위해 다양한 LLM API로 요청을 전달하는 서비스입니다. 자체 커스텀 모델 서버에 연결하는 데도 사용할 수 있어요.
LangSmith ACE (임의 코드 실행) 백엔드 보안 환경에서 임의 코드를 실행하는 서비스예요. LangSmith 내에서 커스텀 코드 실행을 지원하는 데 사용됩니다.

저장소 서비스

참고 — LangSmith는 기본적으로 모든 저장소 서비스를 번들로 제공합니다. 모든 저장소 서비스의 외부 버전을 사용하도록 구성할 수도 있어요. 운영 환경에서는 외부 저장소 서비스를 강력히 권장합니다.

서비스 설명
ClickHouse ClickHouse는 온라인 분석 처리(OLAP)를 위한 고성능 컬럼 지향 SQL DBMS예요. LangSmith는 트레이스와 피드백(고볼륨 데이터)의 주 데이터스토어로 ClickHouse를 사용합니다. 💡 외부 ClickHouse 연결
PostgreSQL PostgreSQL은 SQL 언어를 확장한 강력한 오픈소스 객체-관계형 데이터베이스로, 가장 복잡한 데이터 워크로드를 안전하게 저장·확장하는 많은 기능을 제공해요. LangSmith는 트랜잭션 워크로드와 운영 데이터(트레이스·피드백을 제외한 거의 모든 것)의 주 데이터스토어로 PostgreSQL을 사용합니다. 💡 외부 PostgreSQL 연결 - AWS RDS, GCP Cloud SQL, Azure Database
Redis / Valkey Redis는 디스크에 지속되는 강력한 인메모리 키-값 데이터베이스예요. 메모리에 데이터를 둠으로써 캐싱 같은 작업에 높은 성능을 제공합니다. LangSmith는 큐잉·캐싱을 Redis로 백업해요. Valkey도 Redis의 드롭인 대체로 공식 지원됩니다. 💡 외부 Redis/Valkey 연결 - AWS ElastiCache, GCP Memorystore, Azure Cache
Blob storage LangSmith는 AWS S3, Azure Blob Storage, Google Cloud Storage 등 여러 blob 저장소 제공자를 지원합니다. LangSmith는 트레이스 아티팩트, 피드백 첨부 등 대용량 파일을 blob 저장소에 저장해요. Blob 저장소는 선택 사항이지만 운영 배포에는 적극 권장됩니다. 💡 blob 저장소 활성화 - AWS S3, GCP GCS, Azure Blob

설치는 Kubernetes 설정 가이드를 따라 하세요.

다음 단계

더 알아보기 (Learn more)