支持的类

以下是支持 OpenLineage 提取的 Operators 和 Hooks 的列表,以及与 SQLExecuteQueryOperator 兼容的特定数据库类型。

重要提示

尽管我们努力保持支持的类列表的最新状态,但请注意我们的更新过程是自动化的,可能并非总是准确地捕获所有内容。检测 Hook 级别的血缘关系具有挑战性,因此请务必仔细检查下面提供的信息。

提示

您可以轻松地为任何 operator 实现 OpenLineage 支持。请参阅 在 Operators 中实现 OpenLineage

核心 Operators

目前,有两个核心 Operators 支持 OpenLineage。这些 Operators 的功能类似于“黑盒”,能够运行任何代码,这可能会限制血缘提取的范围。为了增强血缘信息的提取,Operators 可以利用下面列出的支持 OpenLineage 的 Hooks。

  • PythonOperator(通过 airflow.providers.openlineage.extractors.python.PythonExtractor

  • BashOperator(通过 airflow.providers.openlineage.extractors.bash.BashExtractor

Spark Operators

当从 Airflow 提交 Spark 应用程序时,OpenLineage 集成可以自动将信息注入到 Spark 应用程序属性中。以下是支持的 Operators 列表以及可以注入的相应信息。

apache-airflow-providers-google

SQLExecuteQueryOperator

使用 SQL 解析进行血缘提取。要从每种数据库类型中提取唯一数据,需要一个实现 OpenLineage 方法的专用 Hook。目前,支持以下数据库

此条目是否有帮助?