支持的类¶
以下是支持 OpenLineage 提取的 Operators 和 Hooks 的列表,以及与 SQLExecuteQueryOperator 兼容的特定数据库类型。
重要提示
尽管我们努力保持支持的类列表的最新状态,但请注意我们的更新过程是自动化的,可能并非总是准确地捕获所有内容。检测 Hook 级别的血缘关系具有挑战性,因此请务必仔细检查下面提供的信息。
提示
您可以轻松地为任何 operator 实现 OpenLineage 支持。请参阅 在 Operators 中实现 OpenLineage。
核心 Operators¶
目前,有两个核心 Operators 支持 OpenLineage。这些 Operators 的功能类似于“黑盒”,能够运行任何代码,这可能会限制血缘提取的范围。为了增强血缘信息的提取,Operators 可以利用下面列出的支持 OpenLineage 的 Hooks。
PythonOperator
(通过airflow.providers.openlineage.extractors.python.PythonExtractor
)BashOperator
(通过airflow.providers.openlineage.extractors.bash.BashExtractor
)
Spark Operators¶
当从 Airflow 提交 Spark 应用程序时,OpenLineage 集成可以自动将信息注入到 Spark 应用程序属性中。以下是支持的 Operators 列表以及可以注入的相应信息。
apache-airflow-providers-google¶
SQLExecuteQueryOperator
¶
使用 SQL 解析进行血缘提取。要从每种数据库类型中提取唯一数据,需要一个实现 OpenLineage 方法的专用 Hook。目前,支持以下数据库
MySql (通过
MySqlHook
)PgVector (通过
PgVectorHook
)Postgres (通过
PostgresHook
)RedshiftSQL (通过
RedshiftSQLHook
)Snowflake (通过
SnowflakeHook
)Trino (通过
TrinoHook
)
提供程序¶
来自每个提供程序的下面列出的 Operators 和 Hooks 原生支持 OpenLineage。