SQLExecuteQueryOperator 连接 Apache Impala¶

使用 SQLExecuteQueryOperator 对 Apache Impala 集群执行 SQL 查询。

注意

之前，可能使用过专门用于 Impala 的 Operator。弃用后，请改用 SQLExecuteQueryOperator。

注意

请确保您已安装 apache-airflow-providers-apache-impala 包以启用 Impala 支持。

使用 Operator¶

使用 conn_id 参数连接到您的 Apache Impala 实例，其连接元数据结构如下

Impala Airflow 连接元数据¶
参数	输入
主机: 字符串	Impala 守护进程主机名或 IP 地址
模式: 字符串	默认数据库名称 (可选)
登录: 字符串	用于认证的用户名 (如适用)
密码: 字符串	用于认证的密码 (如适用)
端口: 整数	Impala 服务端口 (默认: 21050)
额外配置: JSON	额外的连接配置，例如: `{"use_ssl": false, "auth": "NOSASL"}`

SQLExecuteQueryOperator 连接 Apache Impala 的示例用法如下

tests/system/apache/impala/example_impala.py

    create_table_impala_task = SQLExecuteQueryOperator(
        task_id="create_table_impala",
        sql="""
            CREATE TABLE IF NOT EXISTS impala_example (
                a STRING,
                b INT
            )
            PARTITIONED BY (c INT)
        """,
    )

参考¶

更多信息，请参阅

Apache Impala 文档

注意

直接通过 SQLExecuteQueryOperator() 提供的参数优先于 Airflow 连接元数据中指定的参数 (例如 schema, login, password 等)。