Microsoft Azure Data Lake 连接¶
Microsoft Azure Data Lake 连接类型支持 Azure Data Lake 集成。
身份验证到 Azure Data Lake¶
有一种方法可以使用 Airflow 连接到 Azure Data Lake。
使用令牌凭据，即向 Airflow 连接添加特定的凭据（client_id、secret、tenant）和帐户名称。
回退到DefaultAzureCredential。这包括尝试使用不同选项进行身份验证的机制：托管系统标识、环境变量、通过 Azure CLI 进行身份验证等。
默认连接 ID¶
所有与 Microsoft Azure Data Lake 相关的钩子和操作符默认使用 azure_data_lake_default。
配置连接¶
- 登录名（可选）
指定用于初始连接的
client_id。这是令牌凭据身份验证机制所必需的。可以省略此项以回退到DefaultAzureCredential。- 密码（可选）
指定用于初始连接的
secret。这仅适用于令牌凭据身份验证机制。可以省略此项以回退到DefaultAzureCredential。- 额外（可选）
指定可在 Azure Data Lake 连接中使用的额外参数（作为 JSON 字典）。以下参数都是可选的
tenant: (可选) 指定要使用的租户。这是令牌凭据身份验证机制所必需的。可以省略此项以回退到DefaultAzureCredential。account_name: 指定 azure data lake 帐户名称。有时也称为store_name
当在环境变量中指定连接时，应使用 URI 语法指定。
请注意，URI 的所有组件都应进行 URL 编码。
例如
export AIRFLOW_CONN_AZURE_DATA_LAKE_DEFAULT='azure-data-lake://client%20id:secret@?tenant=tenant+id&account_name=store+name'