콘텐츠로 이동

데이터 엔지니어링

Events는 이벤트 데이터 플랫폼인데, 이벤트 데이터는 흘러가야 가치가 생겨요. 사용자가 버튼을 누르고, 페이지를 보고, 결제를 하면 그 '행동 하나하나'가 이벤트로 쌓이죠. 그걸 그냥 쌓아만 두면 아무것도 되지 않아요. 수집 → 분석 → 서비스(파이프라인 → 창고 → 대시보드·모델)라는 세 층이 연결돼야 비로소 '다음에 뭘 팔지' 같은 답이 나옵니다.

이 3계층 구조가 곧 데이터 엔지니어링의 핵심이고, 그래서 우리 제품의 뼈대 역할을 해요. 다만 지금은 팀이 다룰 줄 아는 역량 단계에 머물러 있어요. 즉 제품에 전면 도입하기 전에, 이 기술들이 어디에 어떻게 들어갈지를 미리 익혀두는 상태라는 뜻이에요.

상태 배지

이 위키에서는 기술마다 적용 정도를 배지로 표시합니다.

  • 🔵 적용 — 도입했거나 적용 중인 기술
  • ⚪ 역량 — 팀이 다룰 줄 알지만 제품엔 아직 안 쓰는 기술

ETL·파이프라인·시계열(TimescaleDB)은 🔵 적용, Airflow·Spark 같은 대용량 처리는 ⚪ 역량 상태로 보고 있어요.

하위 기술 딥 페이지

데이터 엔지니어링의 핵심 기술은 각각 별도 페이지로 정리했어요.

  • Airflow (⚪ 역량) — 파이프라인을 코드(DAG)로 짜서 스케줄링·실패 재시도를 관리하는 오케스트레이터예요. '어느 작업이 언제 돌고, 실패하면 어떻게 재시도할지'를 한곳에서 관리해요.
  • Spark (⚪ 역량) — 메모리 기반으로 대용량 데이터를 분산 처리하는 엔진이에요. 단일 서버로 못 버티는 규모를 여러 노드로 나눠 돌릴 때 써요.
  • TimescaleDB (🔵 적용) — PostgreSQL 기반으로 시계열 쿼리를 빠르게 해주는 확장이에요. 시간순으로 찍히는 데이터(트래픽·센서·이벤트)를 다룰 때 써요.

함께 쓰는 기술 (목차)

딥 페이지는 따로 없지만 같은 3계층의 자리를 나눠 맡는 기술들이에요. 수집 쪽엔 웹 크롤링(Scrapy·BeautifulSoup) 과 ETL이, 파이프라인 쪽엔 Airflow가, 창고·분석 쪽엔 Data Warehouse와 시계열 DB가, 서비스 쪽엔 대시보드와 예측 모델이 붙는 식이에요.

  • ETL / Data Pipeline (🔵 적용) — 원천 데이터를 가져와(Extract) 변형하고(Transform) 저장하는(Load) 일련의 과정. 매일·매시간 반복 실행이 전제인 흐름이에요.
  • Standard Schema / Incremental Update / Schema Migration (⚪ 역량) — 소스마다 제각각인 필드를 통일하고, 전체 대신 새로 생긴 부분만 갱신하고, 구조 변경을 버전 관리하며 안전하게 옮기는 규칙들이에요. 이 공통 규칙이 있어야 Airflow든 Spark든 '어디에 붙일지만' 남아요.
  • Data Modeling / ERD (⚪ 역량) — 데이터 사이의 관계를 그림과 표로 설계하는 일. ERD가 그 관계를 한눈에 보여줘요.
  • 시계열 / GA4 (🔵 적용) — 시간순 데이터와 구글 애널리틱스 4세대. GA4는 자체 지표와 대조하는 기준점으로 써요.
  • 이상치 탐지 / 전환 예측 / CRM·ERP (⚪ 역량) — 평균에서 크게 벗어난 값을 찾고, '결제·가입 확률'을 예측하고, 고객관계·기업자원 시스템과 데이터를 주고받는 영역이에요.

실제 적용

Events에서는 우선 행동·리드·퍼널 데이터와 GA4를 대조해서 '자체 집계가 제대로 되는지'를 검증해요. 내부에서 세는 숫자와 GA4가 보여주는 숫자가 크게 다르면 수집 단계부터 의심해야 하니까요. 시계열 데이터는 TimescaleDB로 다루는 쪽을 시나리오로 두는데, 아직 역량 단계라서 도입 전 PoC로 검증하는 걸 목표로 해요. 자세한 내용은 각 딥 페이지와 기술 스택 허브에서 이어집니다.

더 알아보기