airflow.providers.openlineage.utils.spark

属性

log

函数

inject_parent_job_information_into_spark_properties(...)

如果不存在，将父作业信息注入 Spark 属性中。

inject_transport_information_into_spark_properties(...)

如果不存在，将传输信息注入 Spark 属性中。

模块内容

airflow.providers.openlineage.utils.spark.log[source]
airflow.providers.openlineage.utils.spark.inject_parent_job_information_into_spark_properties(properties, context)[source]

如果不存在，将父作业信息注入 Spark 属性中。

参数

properties: Spark 属性。 context: 包含任务实例信息的上下文。

返回

修改后的 Spark 属性，并在适用时注入 OpenLineage 父作业信息属性。

airflow.providers.openlineage.utils.spark.inject_transport_information_into_spark_properties(properties, context)[source]

如果不存在，将传输信息注入 Spark 属性中。

参数

properties: Spark 属性。 context: 包含任务实例信息的上下文。

返回

修改后的 Spark 属性，并在适用时注入 OpenLineage 传输信息属性。

此条目有帮助吗？