Hive CLI 连接¶
Hive CLI 连接类型启用 Hive CLI 集成。
对 Hive CLI 进行身份验证¶
有两种方法可以使用 Airflow 连接到 Hive。
使用 Hive Beeline。即使用主机、端口和模式建立 JDBC 连接字符串。您还可以选择使用代理用户连接,并指定登录名和密码。
使用 Hive CLI。即在 extras 字段中指定 Hive CLI 参数。
一次只能使用一种授权方法。如果您需要管理多个凭据或密钥,则应配置多个连接。
默认连接 ID¶
所有与 Hive_CLI 相关的钩子和操作符默认使用 hive_cli_default
。
配置连接¶
- 登录(可选)
为代理用户或 Beeline CLI 指定您的用户名。
- 密码(可选)
指定您的 Beeline CLI 密码。
- 主机(可选)
指定用于 Hive Beeline 的 JDBC Hive 主机。
- 端口(可选)
指定用于 Hive Beeline 的 JDBC Hive 端口。
- 模式(可选)
指定您想要使用 Beeline 连接的 JDBC Hive 数据库,或指定一个模式,以便使用 Hive CLI 运行 HQL 语句。
- 使用 Beeline(可选)
如果使用 Beeline CLI,则指定为
True
。默认值为False
。- 代理用户(可选)
指定一个代理用户,以该用户身份运行 HQL 代码。
- 主体(可选)
指定要与 Hive Beeline 一起使用的 JDBC Hive 主体。
- 高可用性(可选)
如果您想连接到以高可用性模式运行的 Hive 安装,则指定为
True
。相应地指定主机。
在环境变量中指定连接时,您应该使用 URI 语法指定它。
请注意,URI 的所有组件都应进行 URL 编码。
例如
export AIRFLOW_CONN_HIVE_CLI_DEFAULT='hive-cli://beeline-username:beeline-password@jdbc-hive-host:80/hive-database?hive_cli_params=params&use_beeline=True&auth=noSasl&principal=hive%2F_HOST%40EXAMPLE.COM'