`airflow.providers.openlineage.utils.spark`¶

模块内容¶

函数¶

inject_parent_job_information_into_spark_properties(...)

如果 Spark 属性中尚未存在，则将父作业信息注入到 Spark 属性中。

属性¶

airflow.providers.openlineage.utils.spark.log[源代码]¶

airflow.providers.openlineage.utils.spark.inject_parent_job_information_into_spark_properties(properties, context)[源代码]¶

如果 Spark 属性中尚未存在，则将父作业信息注入到 Spark 属性中。

参数: properties: Spark 属性。 context: 包含任务实例信息的上下文。
返回值: 如果适用，修改后的 Spark 属性，其中注入了 OpenLineage 父作业信息属性。

这个条目有帮助吗？