함수

함수 (Functions)

Spark SQL은 넓은 범위의 사용자 요구를 충족하기 위해 두 가지 함수 기능을 제공해요: 내장 함수(built-in functions)와 사용자 정의 함수(UDFs)예요. 내장 함수는 Spark SQL이 미리 정의해 둔 흔히 쓰는 루틴들로, 전체 목록은 Built-in Functions API 문서에서 볼 수 있어요. 시스템의 내장 함수만으로 원하는 작업을 수행하기 부족할 때 UDF를 사용해 사용자만의 함수를 정의할 수 있어요.

출처: 문서

본문

내장 함수 (Built-in Functions)

Spark SQL에는 집계, 배열/맵, 날짜/타임스탬프, JSON 데이터를 위한 자주 쓰이는 내장 함수 카테고리가 있어요. 이 절에서는 이런 함수들의 사용법과 설명을 다룰게요.

스칼라 함수 (Scalar Functions)

집계류 함수 (Aggregate-like Functions)

생성기 함수 (Generator Functions)

UDF (사용자 정의 함수, User-Defined Functions)

사용자 정의 함수(UDFs)는 시스템의 내장 함수만으로 원하는 작업을 수행하기 부족할 때 사용자가 자신의 함수를 정의할 수 있게 해주는 Spark SQL의 기능이에요. Spark SQL에서 UDF를 사용하려면 먼저 함수를 정의하고, Spark에 함수를 등록(register)한 다음, 마지막으로 등록된 함수를 호출해야 해요. 사용자 정의 함수는 단일 행에 동작할 수도 있고 여러 행에 한 번에 동작할 수도 있어요. Spark SQL은 또한 기존 Hive의 UDF, UDAF, UDTF 구현과의 통합도 지원해요.

더 알아보기 (Learn more)