Microsoft Azure 数据工厂

Microsoft Azure 数据工厂连接类型启用 Azure 数据工厂集成。

向 Azure 数据工厂进行身份验证

有三种方法可以使用 Airflow 连接到 Azure 数据工厂。

  1. 使用 令牌凭据，即在 Airflow 连接中添加特定的凭据（client_id、secret、tenant）和订阅 ID。

  2. 通过设置 managed_identity_client_id 和 workload_identity_tenant_id 来使用托管身份（在底层，它使用带有这些参数的 DefaultAzureCredential）。

  3. 回退到 DefaultAzureCredential。这包括尝试不同的身份验证选项的机制：托管系统身份、环境变量、通过 Azure CLI 进行身份验证等。

默认连接 ID

所有与 Microsoft Azure 数据工厂相关的钩子和操作符默认使用 azure_data_factory_default。

配置连接

客户端 ID

指定用于初始连接的 client_id。这是 *令牌凭据* 身份验证机制所必需的。可以省略它以回退到 DefaultAzureCredential。

密钥

指定用于初始连接的 secret。这是 *令牌凭据* 身份验证机制所必需的。可以省略它以回退到 DefaultAzureCredential。

租户 ID

指定用于初始连接的 Azure 租户 ID。这是 *令牌凭据* 身份验证机制所必需的。可以省略它以回退到 DefaultAzureCredential。使用额外的参数 tenantId 来传递租户 ID。

订阅 ID

指定用于初始连接的订阅 ID。这是所有身份验证机制所必需的。使用额外的参数 subscriptionId 来传递 Azure 订阅 ID。

工厂名称（可选）

指定要与之交互的 Azure 数据工厂。如果未在连接中指定，则需要直接传递给钩子、操作符和传感器。使用额外的参数 factory_name 来传递工厂名称。

资源组名称（可选）

指定所需数据工厂所在的 Azure 资源组名称。如果未在连接中指定，则需要直接传递给钩子、操作符和传感器。使用额外的参数 resource_group_name 来传递资源组名称。

托管身份客户端 ID（可选）

用户分配的托管身份的客户端 ID。如果与 workload_identity_tenant_id 一起提供，它们将传递给 DefaultAzureCredential。

工作负载身份租户 ID（可选）

应用程序的 Microsoft Entra 租户 ID。也称为其“目录” ID。如果与 managed_identity_client_id 一起提供，它们将传递给 DefaultAzureCredential。

当在环境变量中指定连接时，应使用 URI 语法指定它。

请注意，URI 的所有组件都应进行 URL 编码。

示例

export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id&resource_group_name=group+name&factory_name=factory+name'

export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id'

此条目是否有帮助？