가비지 컬렉션

원문 보기 위키 갱신 2026.10.11

Tip

lakeFS Enterprise 사용자는 이 Spark 프로그램 대신 스탠드얼론 GC 프로그램을 실행할 수 있어요.

출처: 문서

본문

기본적으로 lakeFS는 모든 객체를 영원히 보관해요. 덕분에 과거 데이터 버전으로 시간 여행을 할 수 있죠. 하지만 때로는 기반 스토리지에서 객체를 완전히 제거하고 싶을 수 있어요. 이유는 비용 절감이나 프라이버시 정책 등 다양해요.

가비지 컬렉션은 lakeFS에서 기반 스토리지의 데이터를 삭제하는 유일한 기능이에요. 객체를 참조하는 모든 브랜치에서 그 객체가 삭제되거나 교체된 이후, 그리고 그 브랜치에 설정된 보존 기간이 지나기 전에는 절대 제거하지 않아요. Object Lifecycle과 Branch Lifecycle이 오래된 데이터와 오래된 브랜치를 은퇴시켜 이 상태로 만들어 주죠. 세 기능이 어떻게 맞물리는지는 Data Retention 문서를 참고하세요.

가비지 컬렉션(GC) 작업은 기반 스토리지에서 다음을 제거하는 Spark 프로그램이에요:

lakeFS에서 삭제(또는 교체)되었고 여러분이 정의한 규칙에 따라 만료된 것으로 간주되는 커밋된 객체
더 이상 접근할 수 없는 커밋되지 않은 객체
예를 들어, 커밋되기 전에 삭제된 객체가 그렇죠.

가비지 컬렉션 규칙

Info

이 규칙은 한 번이라도 커밋된 객체에만 적용돼요. 보존 규칙이 없으면 작업은 접근 불가능한 커밋되지 않은 객체만 제거해요.

가비지 컬렉션 규칙은 lakeFS에서 삭제(또는 교체)된 후 객체가 스토리지에 얼마나 오래 유지되는지를 결정해요. GC 작업은 브랜치별로 정의된 일수만큼 삭제된 객체를 보관해요. 브랜치별 규칙이 없으면 리포지토리 기본 규칙을 사용해요. 객체가 여러 브랜치 계보(ancestry)에 존재한다면, 모든 관련 브랜치의 보존 기간이 끝난 후에야 제거돼요.

리포지토리의 GC 규칙 예시:

{
  "default_retention_days": 14,
  "branches": [
    {"branch_id": "main", "retention_days": 21},
    {"branch_id": "dev", "retention_days": 7}
  ]
}

위 예시에서는 기본적으로 삭제 후 14일간 객체가 보관돼요. 하지만 main 브랜치에 존재하는 객체라면 21일간 보관되고요. dev 브랜치에 만 존재하는 객체는 삭제 후 7일간 보관돼요.

가비지 컬렉션 규칙 설정 방법

보존 규칙을 정의하려면 lakectl 명령, lakeFS 웹 UI, 또는 API를 사용하세요:

CLIWeb UI

GC 규칙을 담은 JSON 파일을 만드세요:

cat <<EOT >> example_repo_gc_rules.json
{
  "default_retention_days": 14,
  "branches": [
    {"branch_id": "main", "retention_days": 21},
    {"branch_id": "dev", "retention_days": 7}
  ]
}
EOT

lakectl로 GC 규칙을 설정하세요:

lakectl gc set-config lakefs://example-repo -f example_repo_gc_rules.json

lakeFS 웹 UI에서:

리포지토리 메인 페이지로 이동해요.
Settings -> Data Retention 으로 가요.
Garbage Collection 섹션에서 Create rule을 클릭하거나, Edit rule로 기존 구성을 변경해요.
GC 규칙을 JSON으로 텍스트 박스에 붙여넣고 변경을 저장해요.