에이전틱 분석

에이전틱 분석 (Agentic analytics)

AI 에이전트가 데이터에 접근·분석하는 에이전틱 워크로드에 ClickHouse가 어떻게 대응하는지 설명합니다. 실시간 분석, 데이터 웨어하우징, 관측 가능성(observability) 요구사항이 하나의 통합 데이터 플랫폼으로 수렴하는 과정을 다룹니다.

출처: 문서

본문

AI 워크로드는 사용 사례와 무관하게 일관된 요구사항을 부과합니다:

  • 높은 쿼리 동시성(concurrency)
  • 서브초(sub-second) 응답 시간
  • 대규모에서도 완전한 충실도(full-fidelity)의 데이터

이 문서는 ClickHouse가 실시간 분석, 데이터 웨어하우징, 관측 가능성 전반에서 그 요구사항을 어떻게 충족하는지, 그리고 그러한 사용 사례들이 에이전틱 애플리케이션을 위한 통합 데이터 플랫폼으로 어떻게 수렴하고 있는지 설명합니다.

에이전틱 워크로드를 위한 ClickHouse

  • 실시간 분석 (Real-time analytics)
  • 데이터 웨어하우징 (Data warehousing)
  • 관측 가능성 (Observability)

생성된 인사이트(insights), 이상 탐지, 추천, 제품 데이터에 대한 자연어 인터페이스 같은 AI 기반 애플리케이션 기능들은 모두 트랜잭션 쓰기와 분석 읽기 사이의 긴밀한 피드백 루프를 요구합니다. 이를 위한 표준 아키텍처는 Postgres + ClickHouse입니다:

  • Postgres는 트랜잭션과 애플리케이션 상태를 처리하고, ClickHouse는 분석을 처리합니다.
  • ClickHouse는 빠른 수집(ingestion), 수십억 행에 대한 서브초 쿼리, 고객 대상 애플리케이션이 요구하는 동시성 수준을 제공합니다.

애플리케이션이 에이전틱해질수록 이 결합은 더욱 중요해집니다. 에이전트는 라이브 제품 데이터를 지속적으로 쿼리해야 하므로 쿼리 빈도와 동시성이 모두 증가합니다. ClickHouse는 자동 데이터 복제와 통합된 개발자 경험을 제공하는 네이티브 Postgres + ClickHouse 통합으로 이를 해결하며, 별도의 CDC 파이프라인을 관리할 필요를 없앱니다. 자연어 분석 인터페이스(때로 AI Analyst라고 함)는 실험 단계에서 프로덕션으로 이동하고 있습니다. 사용자는 평범한 영어로 질문하고 몇 초 안에 답을 기대합니다. 이에 따른 인프라 영향은 단일 자연어 쿼리가 하나의 SQL 쿼리를 만들지 않는다는 것입니다. 에이전트가 사용 가능한 데이터셋을 탐색하고 여러 추론 경로를 평가하면서 일반적으로 수십 개의 쿼리를 빠르게 연속 생성합니다. 그 결과 내부 분석가 워크로드의 동시성·지연 프로파일이 외부 고객 대상 워크로드와 비슷해집니다. 레거시 데이터 웨어하우스는 드물고 배치 중심의 쿼리를 위해 설계되었습니다. 이들은 많은 쿼리에 걸친 전체 처리량을 최적화하지만, 높은 동시성에서의 서브초 응답 시간은 최적화하지 않습니다. 그 아키텍처에서 AI Analyst 워크로드를 실행하면 허용 불가능한 지연이 생기거나, 제공되는 가치보다 더 빠르게 비용이 증가합니다. ClickHouse는 높은 동시성의 인터랙티브 쿼리를 위해 설계되었습니다: 페타바이트 규모의 데이터, 수천 명의 동시 사용자, 수십억 행에 대한 서브초 응답 시간입니다.

전통적인 관측 가능성 스택은 지표(metrics), 로그(logs), 트레이스(traces)라는 세 개의 분리된 축으로 구축되며, 저장 비용을 통제하기 위해 데이터를 사전 집계하고 샘플링합니다. 이 트레이드오프는 사람 주도 워크플로에는 허용 가능하지만 AI SRE에서는 무너집니다. 자동화된 인시던트 트리아지, 근본 원인 분석, 이상 상관 분석은 세밀하고 고카디널리티이며 장기 보존되는 데이터를 요구합니다. 3일 전 배포 이벤트와 오류 패턴을 상호 연관 짓는 AI 에이전트는 샘플링된 로그나 다운샘플링된 지표로는 작동할 수 없습니다. AI SRE를 지원하는 아키텍처는 컬럼형 저장소에 저장된 넓은(wide) 구조화 이벤트를 기반으로 한 단일 소스 오브 트루스입니다. 전체 충실도 이벤트는 한 번 저장되고, 지표·트레이스·SLO는 수집 시 사전 집계하는 대신 쿼리 시점에 이벤트에서 파생됩니다. ClickHouse는 이 모델에 잘 맞습니다:

  • 로그·이벤트 데이터에 대한 높은 압축률
  • 고카디널리티의 넓은 이벤트에 대한 서브초 쿼리
  • 프로덕션 인프라 규모에서의 효율적인 수집
  • per-GB 수집 요금이 아닌 컴퓨팅·저장 기반의 비용 모델

ClickStack은 이 모델 위에 구축된 ClickHouse의 관측 가능성 스택이며, 데이터 수집 계층으로 OpenTelemetry를 사용합니다. 오픈소스 및 관리형(managed) 서비스로 제공됩니다.

데이터 웨어하우징과 관측 가능성의 수렴 (Convergence of data warehousing and observability)

데이터 웨어하우징과 관측 가능성은 역사적으로 별개의 도메인으로, 별개의 벤더, 구매자, 스택을 가졌습니다. 그 분리는 점점 기술적 요구사항이라기보다 관례가 되어가고 있습니다. 두 도메인 모두 이제 오브젝트 스토리지에 씁니다. 둘 다 높은 동시성에서 인터랙티브하고 저지연인 쿼리를 요구합니다. 그리고 데이터 수준에서 같은 이벤트가 종종 두 번 저장됩니다 — 한 번은 관측 가능성 플랫폼에, 한 번은 데이터 웨어하우스에 — 중간에는 취약한 동기화 계층이 있습니다. 모든 것을 오픈 포맷으로 한 번 저장하고 AI Analyst와 AI SRE 도구 모두가 쿼리할 수 있게 하면 그 중복이 사라지고 두 워크플로 모두에서 컨텍스트를 사용할 수 있게 됩니다.

플랫폼 계층: 에이전트 준비 인터페이스와 LLM 관측 가능성 (The platform layer: Agent-ready interfaces and LLM observability)

완전한 에이전틱 분석 플랫폼을 위해서는 데이터베이스와 함께 두 가지 추가 컴포넌트가 필요합니다.

에이전트 준비 인터페이스 (Agent-ready interfaces)

AI 에이전트가 데이터의 주요 인터페이스가 될 때, 데이터 플랫폼은 에이전트가 소비할 수 있는 방식(MCP 호환 API, 자연어 인터페이스, 사용 사례별 맞춤 작업 없이 통합되는 에이전트 프레임워크)으로 자신의 기능을 노출해야 합니다. Agentic Data Stack은 ClickHouse를 LibreChat과 결합해 데이터 위에 분석 에이전트를 배포하는 턴키 방식을 제공합니다.

LLM 관측 가능성 (LLM observability)

에이전트가 늘어남에 따라 다단계 워크플로 전반에서 실행을 추적하고, 모델 성능을 모니터링하고, 비용을 추적하고, 실패를 디버깅하는 것이 핵심 엔지니어링 요구사항이 됩니다. Langfuse는 ClickHouse Cloud에서 실행되어 대규모 실시간 LLM 관측 가능성을 제공합니다.

더 알아보기 (Learn more)