airflow.providers.openlineage.extractors.base

模块内容

OperatorLineage

从血缘提取返回的结构。

BaseExtractor

抽象基提取器类。

DefaultExtractor

使用 get_openlineage_facets_on_start/complete/failure 方法的提取器。

属性

DatasetSubclass

BaseFacetSubclass

airflow.providers.openlineage.extractors.base.DatasetSubclass[源代码]
airflow.providers.openlineage.extractors.base.BaseFacetSubclass[源代码]
class airflow.providers.openlineage.extractors.base.OperatorLineage[源代码]

基类:Generic[DatasetSubclass, BaseFacetSubclass]

从血缘提取返回的结构。

inputs: list[DatasetSubclass][源代码]
outputs: list[DatasetSubclass][源代码]
run_facets: dict[str, BaseFacetSubclass][源代码]
job_facets: dict[str, BaseFacetSubclass][源代码]
class airflow.providers.openlineage.extractors.base.BaseExtractor(operator)[源代码]

基类:abc.ABC, airflow.utils.log.logging_mixin.LoggingMixin

抽象基提取器类。

这主要用于维护对自定义提取器的支持。

abstract classmethod get_operator_classnames()[源代码]

获取提取器适用的运算符列表。

这是一个子类应该实现的抽象方法。有一些运算符的工作方式非常相似,一个提取器可以覆盖。

extract()[源代码]
extract_on_complete(task_instance)[源代码]
class airflow.providers.openlineage.extractors.base.DefaultExtractor(operator)[源代码]

基类:BaseExtractor

使用 get_openlineage_facets_on_start/complete/failure 方法的提取器。

classmethod get_operator_classnames()[源代码]

将此提取器分配给没有运算符。

默认提取器的选择不是基于类名,而是基于运算符上是否存在 get_openlineage_facets 方法。

extract_on_complete(task_instance)[源代码]

此条目是否有帮助?