通过 SQLExecuteQueryOperator 连接到 Apache Drill

前提条件

使用 SQLExecuteQueryOperator,在 Drill 查询引擎中执行 SQL 命令。

要连接到 Drill,您必须配置一个 Drill 连接,并将其作为 conn_id 传递给 SQLExecuteQueryOperator。

警告

以前,DrillOperator 用于执行此类操作。但是,目前 DrillOperator 已被弃用,并将在提供程序的未来版本中删除。请考虑尽快切换到 SQLExecuteQueryOperator。

SQLExecuteQueryOperator

在 Apache Drill 服务器上执行一个或多个 SQL 查询。sql 参数可以是模板化的,也可以是外部的 .sql 文件。

使用操作符

tests/system/apache/drill/example_drill_dag.py[源码]

sql_task = SQLExecuteQueryOperator(
    task_id="json_to_parquet_table",
    sql="""
    drop table if exists dfs.tmp.employee;
    create table dfs.tmp.employee as select * from cp.`employee.json`;
    """,
)

参考

有关详细信息,请参阅关于查询数据的 Drill 文档

这个条目有帮助吗?