릴리스 0.139
릴리스 0.139 (Release 0.139)
이 릴리스에서는 동적 split 동시성(dynamic split concurrency)이 도입되고, 일반·Hive 관련 수정이 포함돼 있어요.
출처: 문서
본문
동적 split 동시성 (Dynamic split concurrency)
이제 쿼리당 실행 중인 리프 split 수를 동적으로 조정해 전체 클러스터 처리량을 높여요. task.initial-splits-per-node로 초기 split 수를 설정하고, task.split-concurrency-adjustment-interval로 조정이 일어나는 빈도를 바꿀 수 있어요. 세션 프로퍼티 initial_splits_per_node와 split_concurrency_adjustment_interval도 사용할 수 있어요.
일반 (General)
distributed-joins-enabled가 true일 때 일부 조인이 재분산되지 않던 계획 수립 버그를 고쳤어요.LIMIT를 사용하는 쿼리에서 스테이지 객체와 태스크가 드물게 누수되던 문제를 고쳤어요.- 조인의 프로브(probe) 쪽 동시성을 높일 수 있는 실험적
task.join-concurrency설정을 추가했어요.
Hive
- ORC와 DWRF 파일 형식의 커서 기반 리더를 제거했어요. 이들은 페이지 기반 리더로 대체됐어요.
CREATE TABLE AS로 S3에 테이블을 만들 때 발생하던 문제를 고쳤어요.
더 알아보기 (Learn more)
이어서 릴리스 0.140에서 TRY 함수와 다양한 최적화를 확인해 보세요.