Microsoft Azure Data Lake Storage Gen2 连接

Microsoft Azure Data Lake Storage Gen2 连接类型支持 ADLS gen2 集成。

向 Azure Data Lake Storage Gen2 认证

目前,有三种方法可以使用 Airflow 连接到 Azure Data Lake Storage Gen2。

  1. 使用令牌凭据,即向 Airflow 连接添加特定凭据(client_id、secret、tenant)和订阅 ID。

  2. 使用连接字符串,即向 Airflow 连接中的connection_string添加连接字符串。

  3. 回退到DefaultAzureCredential。这包括尝试不同选项来进行认证的机制:托管系统标识、环境变量、通过 Azure CLI 进行认证等。

一次只能使用一种授权方法。如果你需要管理多个凭据或密钥,则应该配置多个连接。

默认连接 ID

所有与 Microsoft Azure Blob Storage 相关的钩子和操作员默认使用azure_data_lake_default

配置连接

登录(可选)

指定用于 Azure Blob 存储的登录信息。与共享密钥凭据和 SAS 令牌身份验证配合使用。可以将其省略,以回退到 DefaultAzureCredential

密码(可选)

指定用于 Azure Blob 存储的密码。与 Active Directory(令牌凭据)和共享密钥身份验证配合使用。可以将其省略,以回退到 DefaultAzureCredential

主机(可选)

指定用于匿名公共读取、Active Directory、共享访问密钥身份验证的帐户 URL。可以将其省略,以回退到 DefaultAzureCredential

其他(可选)

指定可在 Azure 连接中使用的其他参数(作为 JSON 字典)。以下参数均为可选

  • tenant_id:指定要使用的租户。Active Directory(令牌)身份验证需要。可以将其省略,以回退到 DefaultAzureCredential

  • connection_string:用于连接字符串身份验证的连接字符串。可以将其省略,以回退到 DefaultAzureCredential

在环境变量中指定连接时,应使用 URI 语法指定连接。

请注意,URI 的所有组件都应经过 URL 编码。

此条目是否有用?