支持的运算符¶
以下是支持 OpenLineage 提取的运算符列表,以及与 SQLExecuteQueryOperator 兼容的特定数据库类型。
重要
虽然我们努力保持支持的运算符列表为最新状态,但请注意,我们的更新过程是自动化的,可能无法始终准确地捕获所有内容。
提示
您可以轻松地为任何运算符实现 OpenLineage 支持。请参阅 在运算符中实现 OpenLineage。
核心运算符¶
目前,有两个核心运算符支持 OpenLineage。这些运算符的功能类似于“黑盒”,能够运行任何代码,这可能会限制谱系提取的范围。
PythonOperator
(通过airflow.providers.openlineage.extractors.python.PythonExtractor
)BashOperator
(通过airflow.providers.openlineage.extractors.bash.BashExtractor
)
SQLExecuteQueryOperator
¶
使用 SQL 解析进行谱系提取。为了从每种数据库类型中提取唯一数据,需要一个实现 OpenLineage 方法的专用 Hook。目前,支持以下数据库
MySQL(通过
MySqlHook
)PgVector(通过
PgVectorHook
)Postgres(通过
PostgresHook
)RedshiftSQL(通过
RedshiftSQLHook
)Snowflake(通过
SnowflakeSqlApiHook
)Trino(通过
TrinoHook
)