airflow.providers.openlineage.extractors.base

属性

DatasetSubclass

BaseFacetSubclass

OL_METHOD_NAME_START

OL_METHOD_NAME_COMPLETE

OL_METHOD_NAME_FAIL

OperatorLineage

血缘提取返回的结构。

BaseExtractor

抽象基础提取器类。

DefaultExtractor

使用 get_openlineage_facets_on_start/complete/failure 方法的提取器。

模块内容

airflow.providers.openlineage.extractors.base.DatasetSubclass[source]
airflow.providers.openlineage.extractors.base.BaseFacetSubclass[source]
airflow.providers.openlineage.extractors.base.OL_METHOD_NAME_START = 'get_openlineage_facets_on_start'[source]
airflow.providers.openlineage.extractors.base.OL_METHOD_NAME_COMPLETE = 'get_openlineage_facets_on_complete'[source]
airflow.providers.openlineage.extractors.base.OL_METHOD_NAME_FAIL = 'get_openlineage_facets_on_failure'[source]
class airflow.providers.openlineage.extractors.base.OperatorLineage[source]

基类: Generic[DatasetSubclass, BaseFacetSubclass]

血缘提取返回的结构。

inputs: list[DatasetSubclass][source]
outputs: list[DatasetSubclass][source]
run_facets: dict[str, BaseFacetSubclass][source]
job_facets: dict[str, BaseFacetSubclass][source]
class airflow.providers.openlineage.extractors.base.BaseExtractor(operator)[source]

基类: abc.ABC, airflow.utils.log.logging_mixin.LoggingMixin

抽象基础提取器类。

这主要用于维护对自定义提取器的支持。

operator[source]
classmethod get_operator_classnames()[source]
抽象方法:

获取此提取器适用的操作符列表。

这是一个抽象方法,子类应该实现。有些操作符非常相似,一个提取器可以覆盖它们。

extract()[source]
extract_on_complete(task_instance)[source]
extract_on_failure(task_instance)[source]
class airflow.providers.openlineage.extractors.base.DefaultExtractor(operator)[source]

基类: BaseExtractor

使用 get_openlineage_facets_on_start/complete/failure 方法的提取器。

classmethod get_operator_classnames()[source]

将此提取器分配给 *不* 任何操作符。

默认提取器的选择不是基于类名,而是基于操作符上是否存在 get_openlineage_facets 方法。

extract_on_complete(task_instance)[source]
extract_on_failure(task_instance)[source]

这篇文章有帮助吗?