Microsoft Azure 容器卷连接

Microsoft Azure 容器卷连接类型启用 Azure 容器卷集成。

向 Azure 容器卷进行身份验证

有四种方法可使用 Airflow 连接到 Azure 容器卷。

  1. 使用令牌凭据,即向 Airflow 连接添加特定凭据(client_id、secret)和订阅 ID。

  2. 使用连接字符串,即向 Airflow 连接中的connection_string添加连接字符串。

  3. 通过设置 managed_identity_client_idworkload_identity_tenant_id(在钩子下,它使用 DefaultAzureCredential 作为这些参数)来使用托管标识。

  4. 回退到 DefaultAzureCredential。这包括尝试不同选项来进行身份验证的机制:托管系统标识、环境变量、通过 Azure CLI 进行身份验证等。在此身份验证机制中需要 subscription_idresource_group

一次只能使用一种授权方法。如果您需要管理多个凭据或密钥,则应配置多个连接。

默认连接 ID

所有与 Azure 容器卷相关的钩子和运算符默认使用 azure_container_volume_default

配置连接

登录(可选)

指定用于 Azure Blob 存储的登录。用于与共享密钥凭据和 SAS 令牌身份验证配合使用。

密码(可选)

指定用于 Azure Blob 存储的密码。用于与 Active Directory(令牌凭据)和共享密钥身份验证配合使用。可以将其省略以回退到 DefaultAzureCredential

主机(可选)

指定匿名公共读取、Active Directory、共享访问密钥身份验证的帐户 URL。

其他(可选)

指定可以在 Azure 连接中使用的其他参数(作为 JSON 字典)。以下参数都是可选的

  • connection_string:用于与连接字符串身份验证配合使用的连接字符串。可以将其省略以回退到 DefaultAzureCredential

  • subscription_id:用于初始连接的订阅 ID。这对于 Azure Active Directory (DefaultAzureCredential) 身份验证是必需的。

  • resource_group:Azure 文件卷所在的 Azure 资源组名称。这对于 Azure Active Directory (DefaultAzureCredential) 身份验证是必需的。

  • managed_identity_client_id:用户分配的托管标识的客户端 ID。如果随 workload_identity_tenant_id 提供,它们将传递给 DefaultAzureCredential

  • workload_identity_tenant_id:应用程序的 Microsoft Entra 租户 ID。也称为其“目录”ID。如果随 managed_identity_client_id 提供,它们将传递给 DefaultAzureCredential

在环境变量中指定连接时,应使用 URI 语法指定它。

请注意,URI 的所有组件都应进行 URL 编码。

例如,使用令牌凭据进行连接

export AIRFLOW_CONN_WASP_DEFAULT='azure_container_volume://blob%20username:blob%[email protected]'

此条目是否有用?