Microsoft Azure Data Lake Storage Gen2 连接

Microsoft Azure Data Lake Storage Gen2 连接类型启用 ADLS gen2 集成。

验证 Azure Data Lake Storage Gen2 的身份

目前,有三种方法可以使用 Airflow 连接到 Azure Data Lake Storage Gen2。

  1. 使用 令牌凭据,即在 Airflow 连接中添加特定凭据(client_id、secret、tenant)和订阅 ID。

  2. 使用 连接字符串,即在 Airflow 连接的 connection_string 中添加连接字符串。

  3. 回退到 DefaultAzureCredential。这包括一种尝试不同身份验证选项的机制:托管系统标识、环境变量、通过 Azure CLI 进行身份验证等。

一次只能使用一种授权方法。如果需要管理多个凭据或密钥,则应配置多个连接。

默认连接 ID

与 Microsoft Azure Blob Storage 相关的所有钩子和操作符默认使用 azure_data_lake_default

配置连接

登录名(可选)

指定用于 azure blob 存储的登录名。用于共享密钥凭据和 SAS 令牌身份验证。可以忽略它以回退到 DefaultAzureCredential

密码(可选)

指定用于 azure blob 存储的密码。用于 Active Directory(令牌凭据)和共享密钥身份验证。可以忽略它以回退到 DefaultAzureCredential

主机(可选)

指定用于匿名公共读取、Active Directory、共享访问密钥身份验证的帐户 URL。可以忽略它以回退到 DefaultAzureCredential

额外(可选)

指定可在 Azure 连接中使用的额外参数(以 JSON 字典形式)。以下参数均为可选

  • tenant_id:指定要使用的租户。用于 Active Directory(令牌)身份验证。可以忽略它以回退到 DefaultAzureCredential

  • connection_string:用于连接字符串身份验证的连接字符串。可以忽略它以回退到 DefaultAzureCredential

在环境变量中指定连接时,应使用 URI 语法指定它。

请注意,URI 的所有组成部分都应进行 URL 编码。

此条目是否有帮助?