Airbyte
Airbyte는 애플리케이션, API, 데이터베이스에서 웨어하우스, 레이크, 다른 목적지로 데이터를 동기화하는 오픈소스 플랫폼이에요. Airbyte의 커넥터를 써서 여러 입력 소스를 통합하는 데이터 파이프라인을 만들 수 있어요.
Airbyte와 lakeFS의 통합은 lakeFS 브랜치와 원자적 커밋·머지를 활용해 Airbyte 커넥터로 S3 버킷에 데이터를 동기화할 때 회복력(resilience)과 관리 편의성을 더해 줘요.
출처: 문서
본문
사용 사례
lakeFS를 통해 S3로 데이터를 수집할 때 lakeFS의 일관성 보장과 Data Lifecycle Management를 활용할 수 있어요:
-
여러 데이터 소스를 단일 브랜치에 통합하고,
main브랜치로 머지할 때 소비자에게 동시에 노출해요. -
lakeFS 훅으로 수신 데이터에 스키마 브레이킹(breaking) 변경이 있는지 검사해요.
-
동기화 도중 실패한 커넥터로부터 소비자가 부분 데이터를 읽지 못하게 막아요.
-
노출하기 전에 브랜치에서 수집된 데이터를 실험해요.
S3 커넥터
lakeFS는 S3 게이트웨이를 노출해서, 애플리케이션이 Amazon S3와 통신하듯 lakeFS와 통신할 수 있게 해 줘요. Airbyte의 S3 커넥터로 lakeFS에 데이터를 업로드할 수 있어요.
경고
Airbyte OSS를 사용한다면 S3 destination 커넥터 버전이 0.3.17 이상인지 확인하세요. 이전 커넥터 버전은 지원되지 않아요.
커넥터로 lakeFS 설정하기
S3 타입의 새 Destination을 만들 때 다음 파라미터를 설정해요:
| 이름 | 값 | 예시 |
|---|---|---|
| Endpoint | lakeFS S3 게이트웨이 URL | https://cute-axolotol.lakefs-demo.io |
| S3 Bucket Name | 데이터가 기록될 lakeFS 저장소 | example-repo |
| S3 Bucket Path | 데이터가 기록될 브랜치와 경로 | main/data/from/airbyte — main은 브랜치 이름이고, data/from/airbyte는 브랜치 아래의 경로예요. |
| S3 Bucket Region | lakeFS에는 해당 없음. us-east-1을 사용하세요 | us-east-1 |
| S3 Key ID | lakeFS 인증에 쓰이는 lakeFS access key id | AKIAlakefs12345EXAMPLE |
| S3 Access Key | lakeFS 인증에 쓰이는 lakeFS secret access key | abc/lakefs/1234567bPxRfiCYEXAMPLEKEY |
UI 설정은 다음과 같이 보여요:
더 알아보기 (Learn more)
공식 문서: lakeFS Airbyte 연동