airflow.providers.openlineage.plugins.adapter¶

类¶

OpenLineageAdapter

将 Airflow 元数据转换为 OpenLineage 事件，而不是从 Airflow 代码创建它们。

模块内容¶

class airflow.providers.openlineage.plugins.adapter.OpenLineageAdapter(client=None, secrets_masker=None)[源]¶

Bases: airflow.utils.log.logging_mixin.LoggingMixin

将 Airflow 元数据转换为 OpenLineage 事件，而不是从 Airflow 代码创建它们。

get_or_create_openlineage_client()[源]¶

get_openlineage_config()[源]¶

static build_dag_run_id(dag_id, logical_date, clear_number)[源]¶

static build_task_instance_run_id(dag_id, task_id, try_number, logical_date, map_index)[源]¶

emit(event)[源]¶

发出 OpenLineage 事件。

参数:: event (openlineage.client.event_v2.RunEvent) – 要发出的事件。
返回:: 已编辑的事件。

start_task(run_id, job_name, job_description, event_time, parent_job_name, parent_run_id, code_location, nominal_start_time, nominal_end_time, owners, task, run_facets=None)[源]¶

发出类型为 START 的 openlineage 事件。

参数:

run_id (str) – dag run 中任务的全局唯一标识符
job_name (str) – dag 中任务的全局唯一标识符
job_description (str) – 用户提供的作业描述
event_time (str)
parent_job_name (str | None) – 父作业的名称（通常是 DAG，但也可能是任务组）
parent_run_id (str | None) – 派生此任务的作业标识符
code_location (str | None) – DAG 文件的文件路径或 URL
nominal_start_time (str | None) – dag run 的计划时间
nominal_end_time (str | None) – 遵循 dag run 的计划时间
owners (list[str]) – DAG 所有者列表
task (airflow.providers.openlineage.extractors.OperatorLineage | None) – 包含从 operator 中提取的信息的元数据容器
run_facets (dict[str, openlineage.client.facet_v2.RunFacet] | None) – 自定义 run facets

complete_task(run_id, job_name, parent_job_name, parent_run_id, end_time, task, run_facets=None)[源]¶

发出类型为 COMPLETE 的 openlineage 事件。

参数:

run_id (str) – dag run 中任务的全局唯一标识符
job_name (str) – 跨 dag 任务的全局唯一标识符
parent_job_name (str | None) – 父作业的名称（通常是 DAG，但也可能是任务组）
parent_run_id (str | None) – 派生此任务的作业标识符
end_time (str) – 任务完成时间
task (airflow.providers.openlineage.extractors.OperatorLineage) – 包含从 operator 中提取的信息的元数据容器
run_facets (dict[str, openlineage.client.facet_v2.RunFacet] | None) – 附加的 run facets

fail_task(run_id, job_name, parent_job_name, parent_run_id, end_time, task, error=None, run_facets=None)[源]¶

发出类型为 FAIL 的 openlineage 事件。

参数:

run_id (str) – dag run 中任务的全局唯一标识符
job_name (str) – 跨 dag 任务的全局唯一标识符
parent_job_name (str | None) – 父作业的名称（通常是 DAG，但也可能是任务组）
parent_run_id (str | None) – 派生此任务的作业标识符
end_time (str) – 任务完成时间
task (airflow.providers.openlineage.extractors.OperatorLineage) – 包含从 operator 中提取的信息的元数据容器
run_facets (dict[str, openlineage.client.facet_v2.RunFacet] | None) – 自定义 run facets
error (str | BaseException | None) – 错误信息
run_facets – 附加的 run facets

dag_started(dag_id, logical_date, start_date, nominal_start_time, nominal_end_time, owners, run_facets, clear_number, description=None, job_facets=None)[源]¶

dag_success(dag_id, run_id, end_date, logical_date, clear_number, dag_run_state, task_ids, run_facets)[源]¶

dag_failed(dag_id, run_id, end_date, logical_date, clear_number, dag_run_state, task_ids, msg, run_facets)[源]¶