Spark 마이그레이션 가이드

Spark 마이그레이션 가이드 (Migration Guide)

Spark의 각 컴포넌트(코어, SQL, 스트리밍, MLlib, PySpark, SparkR)를 새 버전으로 안전하게 옮기기 위해 어떤 부분이 바뀌었는지, 무엇을 주의해서 확인해야 하는지 컴포넌트별로 정리한 가이드예요. 버전을 올릴 때 이 페이지에서 해당하는 항목으로 들어가면 각 컴포넌트의 구체적인 마이그레이션 절차를 확인할 수 있습니다.

출처: 문서

본문

이 페이지는 사용자가 효과적으로 마이그레이션할 수 있도록 각 컴포넌트에 대한 마이그레이션 가이드 섹션을 정리해 두고 있어요.

• Spark Core
• SQL, Datasets, and DataFrame
• Structured Streaming
• MLlib (Machine Learning)
• PySpark (Python on Spark)
• SparkR (R on Spark)

더 알아보기 (Learn more)

• Spark SQL 마이그레이션 가이드: DataFrame/Dataset/SQL API의 호환성 변경 사항을 살펴볼 수 있어요.
• MLlib 마이그레이션 가이드: ML 파이프라인과 RDD 기반 API의 변경 사항을 확인해요.
• Spark Core 마이그레이션 가이드: 코어 런타임과 배포 관련 변경 사항을 살펴봐요.