airflow.providers.openlineage.plugins.facets

AirflowMappedTaskRunFacet

包含映射任务信息的 Run facet。

AirflowJobFacet

复合的 Airflow job facet。

AirflowStateRunFacet

提供状态信息的 Airflow facet。

AirflowRunFacet

复合的 Airflow run facet。

AirflowDagRunFacet

复合的 Airflow DAG run facet。

AirflowDebugRunFacet

Airflow Debug run facet。

UnknownOperatorInstance

描述未知操作符。

UnknownOperatorAttributeRunFacet

描述 Airflow DAG 中未知操作符的 RunFacet。

模块内容

class airflow.providers.openlineage.plugins.facets.AirflowMappedTaskRunFacet[source]

Bases: openlineage.client.facet_v2.RunFacet

包含映射任务信息的 Run facet。

mapIndex: int[source]
operatorClass: str[source]
classmethod from_task_instance(task_instance)[source]
class airflow.providers.openlineage.plugins.facets.AirflowJobFacet[source]

Bases: openlineage.client.facet_v2.JobFacet

复合的 Airflow job facet。

此 facet 封装了重新创建 Airflow DAG 逻辑完整范围所需的所有信息,能够以全面的方式重构、可视化和分析 DAG。它包括任务、任务组及其层次关系的详细表示,使得绘制可视化表示整个 DAG 结构(如在 Airflow UI 中)的图成为可能。它还指示任务是否应发出 OpenLineage (OL) 事件,使消费者能够预测事件数量并识别可以从哪些任务中预期这些事件。

属性

taskTree: 表示 DAG 中任务层次结构的字典。taskGroups: 包含 DAG 内任务组信息的字典。tasks: 详细描述 DAG 内单个任务的字典。

taskTree: dict[source]
taskGroups: dict[source]
tasks: dict[source]
class airflow.providers.openlineage.plugins.facets.AirflowStateRunFacet[source]

Bases: openlineage.client.facet_v2.RunFacet

提供状态信息的 Airflow facet。

此 facet 设计用于在完成事件时发送,提供关于 DAG 运行和每个任务的状态信息。此信息对于理解执行流程以及全面的运行后分析和调试至关重要,包括了解某些任务为何未发出事件,这可能由于使用控制流操作符(如 BranchOperator)而发生。

属性

dagRunState: 表示整个 DAG 运行的最终状态(例如,“success”、“failed”)。tasksState: 将任务 ID 映射到其各自状态的字典(例如,“failed”、“skipped”)。

dagRunState: str[source]
tasksState: dict[str, str][source]
class airflow.providers.openlineage.plugins.facets.AirflowRunFacet[source]

Bases: openlineage.client.facet_v2.RunFacet

复合的 Airflow run facet。

dag: dict[source]
dagRun: dict[source]
task: dict[source]
taskInstance: dict[source]
taskUuid: str[source]
class airflow.providers.openlineage.plugins.facets.AirflowDagRunFacet[source]

Bases: openlineage.client.facet_v2.RunFacet

复合的 Airflow DAG run facet。

dag: dict[source]
dagRun: dict[source]
class airflow.providers.openlineage.plugins.facets.AirflowDebugRunFacet[source]

Bases: openlineage.client.facet_v2.RunFacet

Airflow Debug run facet。

packages: dict[source]
class airflow.providers.openlineage.plugins.facets.UnknownOperatorInstance[source]

Bases: openlineage.client.utils.RedactMixin

描述未知操作符。

这指定了操作符的(类)名称及其属性。

name: str[source]
properties: dict[str, object][source]
type: str = 'operator'[source]
class airflow.providers.openlineage.plugins.facets.UnknownOperatorAttributeRunFacet[source]

Bases: openlineage.client.facet_v2.RunFacet

描述 Airflow DAG 中未知操作符的 RunFacet。

unknownItems: list[UnknownOperatorInstance][source]

此条目有帮助吗?