PyFlink Configuration

PyFlink Configuration (PyFlink 구성)

PyFlink는 다양한 구성 옵션을 제공해요. Python DataStream API 프로그램과 Python Table API 프로그램 모두에서 구성 옵션을 설정할 수 있어요.

출처: PyFlink Configuration

본문

PyFlink는 다양한 구성 옵션을 제공해요:

• Python Configuration (Python 특정 설정)
• Execution Configuration (잡 실행 설정)
• State Backend Configuration (상태 저장 설정)
• Checkpointing Configuration (내결함성 설정)
• Network Configuration (네트워크 버퍼 설정)

최적화를 위해 사용돼요.

Python DataStream API 프로그램의 경우 구성 옵션은 다음과 같이 설정할 수 있어요:

from pyflink.common import Configuration
from pyflink.datastream import StreamExecutionEnvironment

config = Configuration()
config.set_integer("python.fn-execution.bundle.size", 1000)
env = StreamExecutionEnvironment.get_execution_environment(config)

Python Table API 프로그램의 경우 Java/Scala Table API 프로그램에 사용 가능한 모든 구성 옵션을 Python Table API 프로그램에서도 사용할 수 있어요. Table API 프로그램에 사용 가능한 모든 구성 옵션에 대한 자세한 내용은 Table API Configuration을 참조하세요. 구성 옵션은 Table API 프로그램에서 다음과 같이 설정할 수 있어요:

from pyflink.table import TableEnvironment, EnvironmentSettings

env_settings = EnvironmentSettings.in_streaming_mode()
t_env = TableEnvironment.create(env_settings)
t_env.get_config().set("python.fn-execution.bundle.size", "1000")

구성 옵션은 EnvironmentSettings를 만들 때 설정할 수도 있어요:

from pyflink.common import Configuration
from pyflink.table import TableEnvironment, EnvironmentSettings

# create a streaming TableEnvironment
config = Configuration()
config.set_string("python.fn-execution.bundle.size", "1000")
env_settings = EnvironmentSettings \
    .new_instance() \
    .in_streaming_mode() \
    .with_configuration(config) \
    .build()
table_env = TableEnvironment.create(env_settings)

# or directly pass config into create method
table_env = TableEnvironment.create(config)

Python Options (Python 옵션)

더 알아보기 (Learn more)

• PyFlink Table API
• PyFlink DataStream API
• Flink Configuration