Microsoft Azure Data Explorer

Azure Data Explorer 连接类型在 Airflow 中启用 Azure Data Explorer (ADX) 集成。

向 Azure Data Explorer 认证

有五种方法可以使用 Airflow 连接到 Azure Data Explorer。

  1. 使用 AAD 应用程序证书（即在 Airflow 连接中使用“AAD_APP”或“AAD_APP_CERT”作为认证方法）。

  2. 使用 AAD 用户名和密码（即在 Airflow 连接中使用“AAD_CREDS”作为认证方法）。

  3. 使用 AAD 设备代码（即在 Airflow 连接中使用“AAD_DEVICE”作为认证方法）。

  4. 通过设置 managed_identity_client_id、workload_identity_tenant_id（在钩子下，它使用 DefaultAzureCredential 和这些参数）来使用托管标识

  5. 回退到 DefaultAzureCredential。其中包括尝试不同选项来进行身份验证的机制：托管系统标识、环境变量、通过 Azure CLI 进行身份验证等。

一次只能使用一种授权方法。如果你需要管理多个凭据或密钥，则应配置多个连接。

默认连接 ID

与 Microsoft Azure Data Explorer 相关的所有钩子和操作符默认使用 azure_data_explorer_default。

配置连接

Data Explorer 群集 URL

指定 Data Explorer 群集 URL。所有身份验证方法都需要此项。

身份验证方法

指定身份验证方法。可用的身份验证方法有

  • AAD_APP：使用 AAD 应用程序证书进行身份验证。使用此方法时需要租户 ID。通过用户名和密码参数提供应用程序 ID 和应用程序密钥。

  • AAD_APP_CERT：使用 AAD 应用程序证书进行身份验证。使用此方法时需要租户 ID、应用程序 PEM 证书和应用程序证书指纹。

  • AAD_CREDS：使用 AAD 用户名和密码进行身份验证。使用此方法时需要租户 ID。用户名和密码参数用于通过 AAD 进行身份验证。

  • AAD_DEVICE：使用 AAD 设备代码进行身份验证。请注意，如果你选择此选项，则需要对初始化的每个新实例进行身份验证。强烈建议创建一个实例并将其用于所有查询。

  • AZURE_TOKEN_CRED：使用 DefaultAzureCredential 进行身份验证。其中包括尝试不同选项来进行身份验证的机制：托管系统标识、环境变量、通过 Azure CLI 进行身份验证等。使用此方法时仅需要“Data Explorer 群集 URL”。

用户名（可选）

指定用于数据浏览器的用户名。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 身份验证方法需要此项。

密码（可选）

指定用于数据浏览器的密码。AAD_APP 和 AAD_CREDS 身份验证方法需要此项。

租户 ID（可选）

指定 AAD 租户。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 需要此项。

应用程序 PEM 证书（可选）

指定证书。AAD_APP_CERT 身份验证方法需要此项。

应用程序证书指纹（可选）

指定与 AAD_APP_CERT 身份验证方法配合使用的指纹。

托管标识客户端 ID（可选）

用户分配的托管标识的客户端 ID。如果与 workload_identity_tenant_id 一起提供，它们将传递给 DefaultAzureCredential。

工作负载标识租户 ID（可选）

应用程序的 Microsoft Entra 租户 ID。也称为其“目录”ID。如果与 managed_identity_client_id 一起提供，它们将传递给 DefaultAzureCredential。

在环境变量中指定连接时，应使用 URI 语法指定它。

请注意，URI 的所有组件都应进行 URL 编码。

例如

export AIRFLOW_CONN_AZURE_DATA_EXPLORER_DEFAULT='azure-data-explorer://add%20username:add%[email protected]?auth_method=AAD_APP&tenant=tenant+id'

此条目是否有用？