Microsoft Azure 数据资源管理器¶

Azure 数据资源管理器 连接类型支持 Airflow 中的 Azure 数据资源管理器 (ADX) 集成。

对 Azure 数据资源管理器进行身份验证¶

有五种方法可以使用 Airflow 连接到 Azure 数据资源管理器。

使用 AAD 应用程序证书（即在 Airflow 连接中使用“AAD_APP”或“AAD_APP_CERT”作为身份验证方法）。
使用 AAD 用户名和密码（即在 Airflow 连接中使用“AAD_CREDS”作为身份验证方法）。
使用 AAD 设备代码（即在 Airflow 连接中使用“AAD_DEVICE”作为身份验证方法）。
通过设置 managed_identity_client_id、workload_identity_tenant_id 使用托管标识（底层，它使用 DefaultAzureCredential 与这些参数）。
回退到 DefaultAzureCredential。这包括尝试不同选项进行身份验证的机制：托管系统标识、环境变量、通过 Azure CLI 进行身份验证等。

一次只能使用一种授权方法。如果需要管理多个凭据或密钥，则应配置多个连接。

与 Microsoft Azure 数据资源管理器相关的所有钩子和操作符默认使用 azure_data_explorer_default。

数据资源管理器群集 URL

指定数据资源管理器群集 URL。所有身份验证方法都需要此项。

身份验证方法

指定身份验证方法。可用的身份验证方法有

AAD_APP：使用 AAD 应用程序证书进行身份验证。使用此方法时，需要租户 ID。通过用户名和密码参数提供应用程序 ID 和应用程序密钥。
AAD_APP_CERT：使用 AAD 应用程序证书进行身份验证。使用此方法时，需要租户 ID、应用程序 PEM 证书和应用程序证书指纹。
AAD_CREDS：使用 AAD 用户名和密码进行身份验证。使用此方法时，需要租户 ID。用户名和密码参数用于使用 AAD 进行身份验证。
AAD_DEVICE：使用 AAD 设备代码进行身份验证。请注意，如果选择此选项，则需要在初始化的每个新实例中进行身份验证。强烈建议创建一个实例并将其用于所有查询。
AZURE_TOKEN_CRED：使用 DefaultAzureCredential 进行身份验证。这包括尝试不同选项进行身份验证的机制：托管系统标识、环境变量、通过 Azure CLI 进行身份验证等。使用此方法时，仅需要“数据资源管理器群集 URL”。

用户名（可选）

指定用于数据资源管理器的用户名。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 身份验证方法需要此项。

密码（可选）

指定用于数据资源管理器的密码。AAD_APP 和 AAD_CREDS 身份验证方法需要此项。

租户 ID（可选）

指定 AAD 租户。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 需要此项。

应用程序 PEM 证书（可选）

指定证书。AAD_APP_CERT 身份验证方法需要此项。

应用程序证书指纹（可选）

指定使用 AAD_APP_CERT 身份验证方法所需的指纹。

托管标识客户端 ID（可选）

用户分配的托管标识的客户端 ID。如果提供 workload_identity_tenant_id，它们将传递到 DefaultAzureCredential。

工作负载标识租户 ID（可选）

应用程序的 Microsoft Entra 租户的 ID。也称为其“目录”ID。如果提供 managed_identity_client_id，它们将传递到 DefaultAzureCredential。

在环境变量中指定连接时，应使用 URI 语法指定它。

请注意，URI 的所有组件都应进行 URL 编码。

例如

export AIRFLOW_CONN_AZURE_DATA_EXPLORER_DEFAULT='azure-data-explorer://add%20username:add%[email protected]?auth_method=AAD_APP&tenant=tenant+id'