支持的运算符

以下是支持 OpenLineage 提取的运算符列表,以及与 SQLExecuteQueryOperator 兼容的特定数据库类型。

重要

虽然我们努力保持支持的运算符列表为最新状态,但请注意,我们的更新过程是自动化的,可能无法始终准确地捕获所有内容。

提示

您可以轻松地为任何运算符实现 OpenLineage 支持。请参阅 在运算符中实现 OpenLineage

核心运算符

目前,有两个核心运算符支持 OpenLineage。这些运算符的功能类似于“黑盒”,能够运行任何代码,这可能会限制谱系提取的范围。

  • PythonOperator(通过 airflow.providers.openlineage.extractors.python.PythonExtractor

  • BashOperator(通过 airflow.providers.openlineage.extractors.bash.BashExtractor

SQLExecuteQueryOperator

使用 SQL 解析进行谱系提取。为了从每种数据库类型中提取唯一数据,需要一个实现 OpenLineage 方法的专用 Hook。目前,支持以下数据库

提供程序的运算符

以下列出的每个提供程序的运算符都原生配备了 OpenLineage 支持。

apache-airflow-providers-common-io

apache-airflow-providers-dbt-cloud

apache-airflow-providers-sftp

apache-airflow-providers-snowflake

此条目有帮助吗?