DatabricksSQLStatementsOperator¶

使用 DatabricksSQLStatementsOperator 通过 Databricks SQL Statement Execution API 向 Databricks 提交一个 Databricks SQL 语句。

使用 Operator¶

DatabricksSQLStatementsOperator 使用 /api/2.0/sql/statements/ 端点向 Databricks 提交 SQL 语句。它支持可配置的执行参数，例如仓库选择、catalog、schema 和参数化查询。该 operator 可以同步轮询查询完成状态，或者以可推迟模式运行以提高效率。

使用该 operator 唯一需要的参数是

statement - 要执行的 SQL 语句。该语句可以是参数化的（可选），参见 parameters。
warehouse_id - 执行语句所用的仓库。

所有其他参数都是可选的，并在 DatabricksSQLStatementsOperator 的文档中进行了描述，包括但不限于

catalog
schema
parameters

示例¶

以下是 DatabricksSQLStatementsOperator 的一个示例用法

tests/system/databricks/example_databricks.py

    sql_statement = DatabricksSQLStatementsOperator(
        task_id="sql_statement",
        databricks_conn_id="databricks_default",
        statement="select * from default.my_airflow_table",
        warehouse_id=WAREHOUSE_ID,
        # deferrable=True, # For using the operator in deferrable mode
    )