apache-airflow-providers-microsoft-azure

更新日志

12.0.0

注意

如Apache Airflow providers 支持策略中所述，此版本的提供程序仅适用于 Airflow 2.9+。

重大更改

警告

所有已弃用的类、参数和功能已从 microsoft azure 提供程序包中删除。引入了以下重大更改

  • 删除了 azure 连接 extra 中已弃用的 extra__azure_data_explorer__foo。

  • 删除了 azure 连接 extra 中已弃用的 extra__azure__tenantId。请改用 tenantId。

  • 删除了已弃用的 get_state_exitcode_details 方法。请改用 get_state。

  • 删除了已弃用的 get_messages 方法。请改用 get_state。

  • 删除了 azure 连接 extra 中已弃用的 extra__azure_data_factory__foo。

  • 在 AzureSynapsePipelineHook 中，使用 default_conn_name=azure_synapse_connection 已被弃用。请改用 default_conn_name=azure_synapse_default。

  • 删除了获取 AzureDataExplorerHook 实例的已弃用方法 get_hook。请改用 hook 属性。

  • 删除了获取 AzureBatchHook 实例的已弃用方法 get_hook。请改用 hook 属性。

  • 删除了已弃用的方法 AzureKeyVaultBackend.get_conn_uri。请改用 get_conn_value。

  • 删除了已弃用的类 WasbBlobAsyncSensor。请改用 WasbBlobSensor，并设置 deferrable=True。

  • 删除了已弃用的操作符 AzureBlobStorageToGCSOperator。请改用 airflow.providers.google.cloud.transfers.azure_blob_to_gcs.AzureBlobStorageToGCSOperator。

  • 移除 Microsoft-AZURE 中的 提供程序 弃用 (#44763)

错误修复

  • 修复 MSGraphAsyncOperator 的 路径 和 查询 参数 中的 可调用 值 (#43799)

  • PowerBIDatasetRefreshOperator 在 刷新 失败时 应 失败 (#44696)

其他

  • 将 提供程序中 的 最低 Airflow 版本 提升 至 Airflow 2.9.0 (#44956)

  • 将 触发器 移动 到 标准 提供程序 (#43608)

  • 删除 XCom pickle (#43905)

  • 更新 多个 提供程序 文档中 的 DAG 示例 链接 (#44034)

  • 更新 文档中 示例 dags 的 路径 (#45069)

  • 避免 使用 1.1.8 版本 的 msgraph-core (#45044)

  • 重构: 添加了 MS Graph 连接 类型 (#45006)

11.1.0

特性

  • 为 wasbhook 添加 copy_object 功能 (#43037)

错误修复

  • 修复 Power BI 触发器 获取 状态 (#43494)

其他

  • 添加 ipykernel,scrapbook, pywinrm 的 最低 版本 (#43603)

11.0.0

重大更改

警告

  • 我们将 Azure 服务总线消息的消息回调更改为接受两个参数，即消息和上下文，而不仅仅是消息。这允许将消息信息推送到 XCom 中。要从先前仅接受消息的版本升级，请更新您的回调以将上下文作为第二个参数。

  • 将 上下文 添加到 Azure 服务 总线 消息 回调 (#43370)

特性

  • 特性: 在 MSGraphAsyncOperator 中添加了 event_handler 参数 (#42539)

其他

  • 添加 PowerBIDatasetRefresh 操作符 的 文档。 (#42754)

  • 添加 microsoft-kiota-abstractions 的 上限 (#43021)

  • 限制 looker-sdk 版本 24.18.0 和 microsoft-kiota-http 1.3.4 (#42954)

10.5.1

错误修复

  • (错误修复): MSGraphAsyncOperator 中的 分页 结果 (#42414)

其他

  • 临时修复 azure kusto data 的 pin (#42576)

  • 删除了 airflow 2.8.0 及以上版本中 任务 上下文 日志记录 的 条件 检查 (#42764)

10.5.0

特性

  • 允许 在 MSGraphAsyncOperator 中使用 自定义 API 版本 (#41331)

  • `` 为 Azure 服务总线消息内容添加回调 (#41601)``

其他

  • 从 提供程序 中删除 已弃用的 soft_fail (#41710)

  • 删除 已弃用的 日志 处理程序 参数 filename_template (#41552)

10.4.0

注意

如Apache Airflow providers 支持策略中所述，此版本的提供程序仅适用于 Airflow 2.8+。

特性

  • Microsoft Power BI 操作符 来 刷新 数据集 (#40356)

  • 将 Azure 容器 实例 日志 消息 导出 到 XCOM (#41142)

Bug 修复

  • 修复 mypy 对新的 azure 库的检查 (#41386)

其他

  • 将 providers 中的最低 Airflow 版本 提升至 Airflow 2.8.0 (#41396)

10.3.0

功能

  • 为 Azure 容器实例 添加 优先级 (#40616)

其他

  • 提升 azure containerinstance 的最低版本 (#40767)

10.2.0

功能

  • 添加 S3ToAzureBlobStorageOperator (#40511)

10.1.2

Bug 修复

  • 切换 AzureDataLakeStorageV2Hook 以使用 DefaultAzureCredential 进行托管身份/工作负载身份验证 (#38497)

  • BUGFIX: 确保 XComs 在 MSGraphAsyncOperator 中正确工作 ，具有分页结果和动态任务映射 (#40301)

其他

  • 使用最低直接依赖项解析实现每个提供者的测试 (#39946)

10.1.1

其他

  • 删除 WasbTaskHandler 中未使用的向后兼容 _read 函数 (#39827)

  • 更新 示例 AzureContainerInstancesOperator (#39466)

10.1.0

注意

此提供程序版本仅适用于 Airflow 2.7+，如 Apache Airflow 提供程序支持策略 中所述。

功能

  • 向 AzureContainerInstancesOperator 添加 dns_config 和 diagnostics 参数 (#39156)

  • 将 stacklevel 添加到 'AzureSynapsePipelineHook' 弃用警告中 (#39192)

  • 在 Microsoft Azure 提供程序中添加 MSGraphOperator (#38111)

  • 使 fs/adls.py 对连接的处理更接近 WasbHook ，并添加单元测试。 (#38747)

  • 在 KiotaRequestAdapterHook 上实现 run-method ，并将逻辑从触发器移动到钩子 (#39237)

  • 将 MSGraphSensor 实现为可延迟传感器 (#39304)

Bug 修复

  • 修复： 仅引用 MSGraphOperator 中 query_parameters 的键 (#39207)

其他

  • 将 providers 中的最低 Airflow 版本提升至 Airflow 2.7.0 (#39240)

  • 为所有提供程序重新应用模板 (#39554)

  • 更快地导入 'airflow_version' (#39552)

  • 简化 'airflow_version' 导入 (#39497)

10.0.0

警告

  • 我们将 azure-cosmos 的最低版本提升至 4.6.0，现在需要提供分区键才能创建、获取或删除容器以及获取文档。

重大更改

警告

  • azure_synapse_pipeline 连接类型已更改为 azure_synapse。

  • 不推荐使用 default_conn_name=azure_synapse_connection，并且将在未来版本中删除。 AzureSynapsePipelineHook 的新默认连接名称为：default_conn_name=azure_synapse_default。

  • 功能/重构 azure synapse pipeline 类 (#38723)

功能

  • 添加 'ADLSCreateObjectOperator' (#37821)

Bug 修复

  • fix(microsoft/azure): 在 triggers 中的 while 循环中添加 return 语句以产生结果 (#38393)

  • 通过使提供 partition_key 强制执行来修复 cosmos hook 静态检查 (#38199)

其他

  • 重构： 重构 BaseOperatorMeta 的 __new__ 魔术方法，以避免混合经典运算符和装饰运算符 (#37937)

  • 更新到最新的 service bus (#38384)

  • 限制 azure-cosmos (#38175)

9.0.1

Bug 修复

  • 修复： 在 AzureDataLakeStorageV2Hook 中使用 ClientSecretCredential 时传递 proxies 配置 (#37103)

9.0.0

重大更改

警告

在此提供程序版本中，已从 WasbPrefixSensorTrigger 中删除 include 和 delimiter 参数。这些参数现在需要通过 check_options 参数传递

  • 修复 WasbPrefixSensor 在同步模式和异步模式下的参数不一致 (#36806)

  • 向 azure 提供程序更改日志添加 WasbPrefixSensorTrigger 参数的重大更改 (#36940)

Bug 修复

  • 修复 在 'AzureBatchHook' 中未检测到失败的任务 (#36785)

  • 修复 'container_instances.py' 中 '__init__' 中模板字段的赋值 (#36529)

其他

  • feat: 将所有类、函数、方法弃用切换为装饰器 (#36876)

8.5.1

其他

  • 删除未使用的 '_parse_version' 函数 (#36450)

  • 在将最低 Airflow 版本提升至 2.6.0 后，清理 WASB 任务处理程序代码 (#36421)

8.5.0

功能

  • 允许传递存储选项 (#35820)

Bug 修复

  • 使用连接类型 azure 修复 azurefilesharehook (#36309)

  • 遵循子类中 BaseHook 连接字段方法签名 (#36086)

其他

  • 通过 Ruff 在文档字符串中添加代码片段格式化 (#36262)

8.4.0

注意

此提供程序版本仅适用于 Airflow 2.6+，如 Apache Airflow 提供程序支持策略 中所述。

Bug 修复

  • 修复 'AzureSynapsePipelineRunLink.get_fields_from_url' 中 try 块外部的 reraise (#36009)

  • 不要在 'WasbHook.delete_container' 中捕获太广泛的异常 (#36034)

其他

  • 将providers中的Airflow最低版本提升至Airflow2.6.0 (#36017)

8.3.0

新功能

  • 在UI中添加Azure Synapse Pipeline连接类型 (#35709)

  • 添加任务上下文日志记录功能，以允许将消息转发到任务日志 (#32646)

  • 添加调用Azure-Synapse管道的操作符 (#35091)

  • 扩展任务上下文日志记录支持，以使用WASB (AzureBlob存储)进行远程日志记录 (#32972)

其他

  • 检查父级上的attr，而不是re TaskContextLogger设置上下文的自身 (#35780)

  • 移除providers中与Airflow 2.3/2.4的向后兼容性 (#35727)

8.2.0

新功能

  • 向AsyncDefaultAzureCredential添加托管身份支持 (#35394)

  • feat(provider/azure): 向container_registry钩子添加托管身份支持 (#35320)

  • feat(provider/azure): 向wasb钩子添加托管身份支持 (#35326)

  • feat(provider/azure): 向asb钩子添加托管身份支持 (#35324)

  • feat(provider/azure): 向cosmos钩子添加托管身份支持 (#35323)

  • feat(provider/azure): 向container_volume钩子添加托管身份支持 (#35321)

  • feat(provider/azure): 向container_instance钩子添加托管身份支持 (#35319)

  • feat(provider/azure): 向adx钩子添加托管身份支持 (#35325)

  • feat(provider/azure): 向batch钩子添加托管身份支持 (#35327)

  • feat(provider/azure): 向data_factory钩子添加托管身份支持 (#35328)

  • feat(provider/azure): 向synapse钩子添加托管身份支持 (#35329)

  • feat(provider/azure): 向fileshare钩子添加托管身份支持 (#35330)

Bug 修复

  • 修复AzureContainerInstanceOperator remove_on_error (#35212)

  • fix(providers/microsoft):为get_async_default_azure_credential设置use_async=True (#35432)

其他

  • 删除Azureprovider中的空TYPE_CHECKING块 (#35477)

  • 重构azure托管身份 (#35367)

  • 重用Azure实用程序方法中的get_default_azure_credential方法 (#35318)

  • ``在 AzureKeyVaultBackend 中使 DefaultAzureCredential 可配置 (#35052)``

  • 在AzureBaseHook配置中使DefaultAzureCredential可配置 (#35051)

8.1.0

新功能

  • AIP-58: 添加Airflow对象存储(AFS) (#34729)

8.0.0

注意

此版本的provider仅适用于Airflow 2.5+，如Apache Airflow providers支持策略中所述。

重大变更

警告

在此版本的provider中，我们从AzureContainerInstancesOperator和AzureDataFactoryHook方法中删除了network_profile参数，并且AzureDataFactoryRunPipelineOperator参数resource_group_name和factory_name现在是必需的，而不是kwargs

  • resource_group_name和factory_name现在是AzureDataFactoryHook方法get_factory、update_factory、create_factory、delete_factory、get_linked_service、delete_linked_service、get_dataset、delete_dataset、get_dataflow、update_dataflow、create_dataflow、delete_dataflow、get_pipeline、delete_pipeline、run_pipeline、get_pipeline_run、get_trigger、get_pipeline_run_status、cancel_pipeline_run、create_trigger、delete_trigger、start_trigger、stop_trigger、get_adf_pipeline_run_status、cancel_pipeline_run中的必需参数

  • resource_group_name和factory_name现在是AzureDataFactoryRunPipelineOperator中的必需参数

  • 从airflow.providers.microsoft.azure.hooks.data_factory中移除类PipelineRunInfo

  • 从AzureContainerInstancesOperator中移除network_profile参数

  • 从azure_container_instance连接的额外参数中移除已弃用的extra__azure__tenantId

  • 从azure_container_instance连接的额外参数中移除已弃用的extra__azure__subscriptionId

  • 升级azure-mgmt-containerinstance (#34738)

  • 在microsiftazureprovider中升级azure-mgmt-datafactory (#34040)

新功能

  • 在AzureContainerInstancesOperator中添加subnet_ids参数 (#34850)

  • 允许在AzureKeyVaultBackend中通过关键字参数提供凭据 (#34706)

Bug 修复

  • 在调用ClientSecretCredential时命名参数 (#34732)

  • fix(providers/microsoft-azure): 当引发异常时，遵守soft_fail参数 (#34494)

  • 错误处理，以应对Azure容器日志无法正确读取的情况。 (#34627)

  • 修复AzureBlob存储的远程日志记录选项中的硬编码容器名称 (#32779)

其他

  • 提高providers的最低airflow版本 (#34728)

  • 在AzureBatchOperator中合并钩子管理 (#34437)

  • 在AzureDataExplorerQueryOperator中合并钩子管理 (#34436)

7.0.0

重大变更

警告

在此版本的provider中，我们已将AzureFileShareHook更改为使用azure-storage-file-share库而不是azure-storage-file，此更改对现有钩子方法有影响，请参阅下面的详细信息，删除了连接额外参数中已弃用的extra__azure_fileshare__前缀，并从连接额外参数中删除了protocol参数

  • AzureFileShareHook中的get_conn返回None而不是FileService

  • 从Azure文件共享连接的额外参数中移除protocol参数

  • 从Azure文件共享连接的额外参数、list_files中移除已弃用的extra__azure_fileshare__前缀

  • 从AzureFileShareHook方法check_for_directory、list_directories_and_files、create_directory中移除share_name、directory_name参数，改为使用AzureFileShareHook的share_name和directory_path参数

  • AzureFileShareHook方法create_share和delete_share接受来自ShareServiceClient.create_share和ShareServiceClient.delete_share的kwargs

  • 从AzureFileShareHook方法get_file、get_file_to_stream和load_file中移除share_name、directory_name、file_name参数，改为使用AzureFileShareHook的share_name和file_path

  • 移除AzureFileShareHook.check_for_file方法

  • 移除AzureFileShareHook.load_string、AzureFileShareHook.load_stream，改为使用AzureFileShareHook.load_data

注意

已移除LocalToAzureDataLakeStorageOperator类，改为使用LocalFilesystemToADLSOperator，已移除AzureDataFactoryPipelineRunStatusAsyncSensor类，改为使用AzureDataFactoryPipelineRunStatusSensor

  • 更新Azure文件共享钩子以使用azure-storage-file-share而不是azure-storage-file (#33904)

  • 删除'AzureDataFactoryPipelineRunStatusAsyncSensor'类 (#34036)

  • 删除'LocalToAzureDataLakeStorageOperator'类 (#34035)

新功能

  • feat(providers/microsoft):添加AzureContainerInstancesOperator.volume作为模板字段 (#34070)

  • 为AzureContainerRegistryHook添加DefaultAzureCredential支持 (#33825)

  • feat(providers/microsoft): 为 AzureContainerVolumeHook 添加 DefaultAzureCredential 支持 (#33822)

其他

  • 重构 providers 中的 正则表达式 (#33898)

  • 改进 关于 AzureBatchHook DefaultAzureCredential 支持的文档 (#34098)

  • 从 microsoft azure providers 中移除 azure-storage-common (#34038)

  • 从 providers 中移除无用的字符串连接 (#33968)

  • 重构 providers 中不必要的跳转 (#33833)

6.3.0

新功能

  • 添加 AzureBatchOperator 示例 (#33716)

  • feat(providers/microsoft): 为 AzureContainerInstanceHook 添加 DefaultAzureCredential 支持 (#33467)

  • 为 ADX 服务添加 DefaultAzureCredential 身份验证 (#33627)

  • feat(providers/microsoft): 为 data_lake 添加 DefaultAzureCredential 支持 (#33433)

  • 允许传递 fully_qualified_namespace 和 credential 来初始化 Azure 服务总线客户端 (#33493)

  • 为 cosmos 添加 DefaultAzureCredential 支持 (#33436)

  • 为 AzureBatchHook 添加 DefaultAzureCredential 支持 (#33469)

错误修复

  • 修复 WasbHook 更新账户URL的问题 (#33457)

  • 修复 Azure Batch Hook 实例化的问题 (#33731)

  • 如果 Wasb 存储账户名称超过 24 个字符，则截断它 (#33851)

  • 移除 Azure MessageHook 中重复的消息提交 (#33776)

  • fix(providers/azure): 在查询 AzureCosmosDBHook 时移除 json.dumps (#33653)

其他

  • 重构: 移除无用的 str() 调用 (#33629)

  • 升级 azure-kusto-data>=4.1.0 (#33598)

  • 简化 providers/microsoft 中 len() 的条件 (#33566)

  • 将日志记录级别设置为 WARNING (#33314)

  • 在适用的情况下，将 'X for X in Y' 简化为 'Y' (#33453)

  • 升级 azure-mgmt-containerinstance>=7.0.0,<9.0.0 (#33696)

  • 通过将一些模块导入类型检查块来改进 Airflow providers 中的模块导入 (#33754)

  • 在 providers 中使用带有多个上下文的单个语句，而不是嵌套的语句 (#33768)

  • 移除不必要的代码，并使用 providers 中的列表重写它 (#33763)

  • 优化 Azure Provider 中 Airflow DB 后端的使用 (#33750)

6.2.4

其他

  • 通过从连接额外字段中删除自定义前缀来清理 microsoft azure provider (#30558)

6.2.3

其他

  • 重构 WasbHook 中 account_url 的使用 (#32980)

6.2.2

其他

  • 添加 Redis 任务处理程序 (#31855)

  • 向 providers 模块和类的文档字符串中添加弃用信息 (#32536)

6.2.1

注意

注意：此版本包含对 WasbHook 中的 get_blobs_list_async 方法的修复，该方法返回 blob 名称列表，但声明（通过类型提示）它返回 BlobProperties 对象列表。这是实现中的一个错误，已在此版本中修复。但是，如果您依赖于先前的行为，您可能需要从该方法返回的数组元素中检索 name 属性。

错误修复

  • 修复在 WASB 中使用 Active Directory ID 作为主机时出现的重大更改 (#32560)

  • 修复 get_blobs_list_async 方法以返回 BlobProperties (#32545)

其他

  • 将 'AzureBlobStorageToGCSOperator' 从 Azure 移动到 Google provider (#32306)

6.2.0

新功能

  • 为 ADLS Gen2 添加连接测试 (#32126)

  • 添加选项，可以将额外的配置传递给 ClientSecretCredential (#31783)

  • 添加了 'AzureBlobStorageToS3Operator' 传输操作符 (#32270)

错误修复

  • 如果捕获到意外异常，则取消管道 (#32238)

  • 修复了如果未使用登录（帐户名称）提供，则构建帐户 URL 的问题 (#32082)

  • 如果在 "AzureDataFactory" 中捕获到异常，则刷新连接 (#32323)

其他

  • 文档更改：在 Azure provider 文档中添加了传输部分 (#32241)

  • 在 Azure providers 文档中添加传感器部分 (#32299)

  • 添加 default_deferrable 配置 (#31712)

6.1.2

注意

此版本放弃了对 Python 3.7 的支持

其他

  • 用标准 csv 库替换 unicodecsv (#31693)

  • 移除了 AzureBlobStorageToGCSOperator 中未使用的变量 (#31765)

  • 移除 Python 3.7 支持 (#30963)

  • 为 _read_remote_logs 添加 文档字符串 和 签名 (#31623)

6.1.1

Bug 修复

  • 修复 WasbPrefixSensor 中 可延期 模式 执行 问题 (#31411)

其他

  • 优化 wasb 传感器 的 延迟 模式 执行 (#31009)

6.1.0

注意

此提供程序的版本仅适用于 Airflow 2.4+，如Apache Airflow 提供程序支持策略中所述。

特性

  • 向 'WasbPrefixSensor' 添加 可延期 模式 (#30252)

其他

  • 提升 提供程序 中的 最低 Airflow 版本 (#30917)

  • 优化 'AzureDataFactoryPipelineRunStatusSensor' 的 可延期 执行 模式 (#30983)

  • 优化 AzureDataFactoryRunPipelineOperator 的 延迟 执行 (#31214)

6.0.0

重大更改

警告

在此版本的提供程序中，已弃用的 GCS hook 参数 delegate_to 已从 AzureBlobStorageToGCSOperator 中删除。可以通过使用 impersonation_chain 参数来实现模拟。

  • 从 GCP 操作符 和 hook 中 删除 delegate_to (#30748)

其他

  • 将 WasbBlobAsyncSensor 合并到 WasbBlobSensor (#30488)

5.3.1

Bug 修复

  • 修复 AzureDataFactoryPipelineRunLink 的 get_link 方法 (#30514)

  • 从 extra__azure__subscriptionId 加载 subscription_id (#30556)

5.3.0

特性

  • 添加 可延期 'AzureDataFactoryRunPipelineOperator' (#30147)

  • 添加 可延期 'AzureDataFactoryPipelineRunStatusSensor' (#29801)

  • 支持 在使用 远程 日志记录时 删除 本地 日志 文件 (#29772)

Bug 修复

  • 修复 在 延迟 期间 发生的 ADF 作业 失败 (#30248)

  • 修复 使用 Active Directory 身份验证 的 AzureDataLakeStorageV2Hook 'account_url' (#29980) (#29981)

其他

  • 将 AzureDataFactoryPipelineRunStatusAsyncSensor 合并到 AzureDataFactoryPipelineRunStatusSensor (#30250)

  • 在 AzureSynapseHook API 文档中 公开 缺失的 参数 (#30099)

5.2.1

Bug 修复

  • 使用 'WasbHook.delete_file()' 处理 删除 超过 256 个 blob 的问题 (#29565)

5.2.0

特性

  • 启用 单独的 触发器 日志记录 (#27758)

Bug 修复

  • 修复 AzureSynapseHook Python API 文档中的 参数 渲染 问题 (#29041)

其他

  • 弃用 GCP 操作符中的 'delegate_to' 参数 并 更新 文档 (#29088)

5.1.0

特性

  • 添加 Azure Data Lake Storage Gen2 的 hook (#28262)

Bug 修复

  • 隐藏 WASB 连接表单中的 'extra' 字段 (#28914)

5.0.2

其他

  • 在 ARM 上重新启用 azure 服务总线，因为它现在可以干净地构建 (#28442)

5.0.1

Bug 修复

  • 使 'offset' 和 'length' 参数 成为非必需参数 (#28234)

5.0.0

注意

此提供程序的版本仅适用于 Airflow 2.3+，如Apache Airflow 提供程序支持策略中所述。

重大更改

  • 在 AzureFileShareHook 中，如果连接额外字典中同时存在 extra__azure_fileshare__foo 和 foo，则将使用带前缀的版本；现在，将优先使用不带前缀的版本。

  • 删除 已弃用的类 (#27417)

  • 在 Azure Batch 中，vm_size 和 vm_node_agent_sku_id 参数是必需的。

其他

  • 将 所有 提供程序 的 最低 airflow 版本 移动到 2.3.0 (#27196)

特性

  • 为 急切升级 添加 azure、google、身份验证库限制 (#27535)

  • 允许并优先 使用 剩余 azure 的 不带前缀的 额外 字段 (#27220)

  • 允许并优先 使用 AzureFileShareHook 的不带前缀的 额外 字段 (#27041)

  • 允许并优先 使用 AzureDataExplorerHook 的不带前缀的 额外 字段 (#27219)

  • 允许并优先 使用 AzureDataFactoryHook 的不带前缀的 额外 字段 (#27047)

  • 更新 WasbHook 以反映对 不带前缀的 extra 的偏好 (#27024)

  • 在 'get_field' 中查找 'extra__' 而不是 'extra_' (#27489)

Bug 修复

  • 修复 添加到 azure 批处理库 的 类型标注所显示的 Azure Batch 错误 (#27601)

  • 修复 当 为空时，分隔符 被添加到 variables_prefix 的问题 (#26749)

4.3.0

特性

  • 将 DataFlow 操作 添加到 Azure DataFactory hook (#26345)

  • 在 AzureContainerInstancesOperator 中添加 network_profile 参数 (#26117)

  • 添加 Azure synapse 操作符 (#26038)

  • 在 Web UI 中自动尾部显示文件日志 (#26169)

  • 实现 Azure 服务总线 主题 创建、删除操作符 (#25436)

Bug 修复

  • 修复 AzureBatchOperator 的 假负面任务状态问题 (#25844)

4.2.0

特性

  • 添加 'test_connection' 方法 到 AzureContainerInstanceHook (#25362)

  • 添加 test_connection 到 Azure Batch hook (#25235)

  • 升级 typing-extensions 和 mypy 以支持 ParamSpec (#25088)

  • 实现 Azure Service Bus （更新 和 接收） 订阅 操作符 (#25029)

  • 设置 默认的 wasb Azure http 日志级别 为 warning; 修复 #16224 (#18896)

4.1.0

功能

  • 添加 'test_connection' 方法 到 AzureCosmosDBHook (#25018)

  • 添加 test_connection 方法 到 AzureFileShareHook (#24843)

  • 添加 test_connection 方法 到 Azure WasbHook (#24771)

  • 实现 Azure 服务总线 订阅 操作符 (#24625)

  • 实现 Azure 服务总线 队列 操作符 (#24038)

Bug 修复

  • 更新 providers 以使用 functools 兼容 ''cached_property'' (#24582)

4.0.0

重大更改

注意

此 provider 版本仅适用于 Airflow 2.2+，如Apache Airflow providers 支持策略中所述。

功能

  • 传递 连接 额外 参数 到 wasb BlobServiceClient (#24154)

杂项

  • 应用 每个运行的 日志 模板 到 日志 处理程序 (#24153)

  • 将 Microsoft 示例 DAGs 迁移到 新 设计 #22452 - azure (#24141)

  • 添加 类型提示 到 Azure Cosmos Client Hook (#23941)

3.9.0

功能

  • wasb hook: 使用 defaultAzureCredentials 代替 managedIdentity (#23394)

杂项

  • 将 'DummyOperator' 的使用替换为 'EmptyOperator' (#22974)

3.8.0

功能

  • 更新 secrets backends 以使用 get_conn_value 代替 get_conn_uri (#22348)

杂项

  • 文档: 修复 'AzureCosmosDocumentSensor' 的示例用法 (#22735)

3.7.2

Bug 修复

  • 修复 错误添加的 install_requires 用于所有 providers (#22382)

3.7.1

杂项

  • 在 PyPI 中添加 Trove 分类器 (框架 :: Apache Airflow :: Provider)

3.7.0

功能

  • 添加 'test_connection' 方法 到 'AzureDataFactoryHook' (#21924)

  • 添加 pre-commit 检查 docstring 参数类型 (#21398)

  • 使 通过 WasbHook 上传文件时 的容器创建 可配置 (#20510)

杂项

  • 支持 Python 3.10

  • (AzureCosmosDBHook) 更新到最新的 Cosmos API (#21514)

3.6.0

功能

  • 在 providers 中添加可选功能 。(#21074)

杂项

  • 重构 操作符链接 以避免创建 临时的 TaskInstances (#21285)

3.5.0

功能

  • Azure: 新的 sftp 到 wasb 操作符 (#18877)

  • 删除 带有 azure 额外 配置的 InputRequired 验证 (#20084)

  • 添加 操作符链接 以监视 Azure 数据工厂 管道运行 (#20207)

3.4.0

功能

  • 删除 Azure 中不必要的连接表单自定义 (#19595)

  • 更新 Azure 模块以符合 AIP-21 (#19431)

  • 从 'WasbHook' 中的隐藏字段 删除 'host' (#19475)

  • 如果 未提供登录信息 ，则为 数据工厂 使用 DefaultAzureCredential (#19079)

Bug 修复

  • 修复 AzureContainerInstancesOperator 中的参数错误 (#19668)

3.3.0

功能

  • 将 azure cosmos 更新到最新版本 (#18695)

  • 将 sas_token 变量添加到 BlobServiceClient 返回 。已更新测试 (#19234)

  • 在文件中添加 pre-commit hook 用于常见的拼写检查 (#18964)

Bug 修复

  • 修复 Azure Provider 的更新日志 (#18736)

其他

  • 扩展 AzureKeyVaultBackend 的客户端身份验证文档 (#18659)

  • Microsoft providers 示例 DAGs 的静态 start_date 和 default arg 清理 (#19062)

3.2.0

功能

  • 将 AzureDataLakeStorage 重命名为 ADLS (#18493)

  • 创建 ADF 管道运行 操作符，传感器 + ADF 自定义连接字段 (#17885)

  • 将 LocalToAzureDataLakeStorageOperator 重命名为 LocalFilesystemToADLSOperator (#18168)

  • 将 FileToWasbOperator 重命名为 LocalFilesystemToWasbOperator (#18109)

Bug 修复

  • 修复 wasb hook 在获取 blob 客户端时尝试创建容器的问题 (#18287)

  • 删除 密码连接字段的冗余重新标记 (#18386)

  • 正确处理 AzureBatchHook 中的帐户 URL 自定义连接字段 (#18456)

  • 正确 处理 AzureDataExplorerHook 中的 自定义 conn 字段 值 (#18203)

主要

以下表格列出了运算符名称和导入路径的更改。这是一个向后兼容的更改。不推荐使用的运算符将在下一个主要版本中删除。

不推荐使用的运算符名称

新的运算符名称

不推荐使用的路径

新的路径

AzureDataLakeStorageListOperator

ADLSListOperator

airflow.providers.microsoft.azure.operators.adls_list

airflow.providers.microsoft.azure.operators.adls

AzureDataLakeStorageDeleteOperator

ADLSDeleteOperator

airflow.providers.microsoft.azure.operators.adls_delete

airflow.providers.microsoft.azure.operators.adls

3.1.1

其他

  • 优化 Airflow 2.2.0 的 连接 导入

  • 将 密钥 后端/日志/身份验证 信息 添加到 provider yaml (#17625)

3.1.0

功能

  • 在 WASB 钩子中 添加 对 托管 身份 的支持 (#16628)

  • 减少 正常路径 的 日志 消息 (#16626)

Bug 修复

  • 修复 Microsoft AzureContainerInstancesOperator 中的 多个 问题 (#15634)

3.0.0

重大更改

  • 自动应用 apply_default 装饰器 (#15667)

警告

由于删除了 apply_default 装饰器，此版本的提供程序需要 Airflow 2.1.0+。如果您的 Airflow 版本低于 2.1.0，并且您想安装此提供程序版本，请先将 Airflow 升级到至少 2.1.0 版本。否则，您的 Airflow 包版本将自动升级，并且您必须手动运行 airflow upgrade db 以完成迁移。

  • 修复 AzureFileShare 连接 额外信息 (#16388)

Azure Container Volume 和 Azure File Share 现在具有带有可编辑 UI 字段的专用连接类型。您不应再对这些连接使用 Wasb 连接类型。这些钩子/运算符的连接 ID 名称已更改以反映这一点。

功能

  • 添加 oracle  连接 链接 (#15632)

  • 向 WasbHook delete_file 方法 添加 分隔符 参数 (#15637)

Bug 修复

  • 修复 ``AzureDataExplorerHook`` 文档字符串中的 冒号 间距 (#15841)

  • 修复 当 blob 已存在时 wasb 远程 日志记录 (#16280)

2.0.0

重大更改

  • 删除 不必要的 AzureContainerInstance 连接 类型 (#15514)

此更改删除了 azure_container_instance_default 连接类型，并将其替换为 azure_default。问题是 AzureContainerInstance 不是必需的，因为它与普通的“azure”连接完全相同，但是它的存在导致 UI 编辑器中用于连接的字段名称重复，并生成不必要的警告。此版本还对 Azure 容器实例使用普通的 Azure 钩子和连接。如果您已经在数据库中创建了 azure_container_instance_default 连接，它将继续工作，但是当您第一次使用 UI 编辑它时，您必须将其类型更改为 azure_default。

功能

  • 向 Azure 连接 添加 动态 连接 字段 (#15159)

Bug 修复

  • 修复 'logging.exception' 冗余 (#14823)

1.3.0

功能

  • 大量 template_fields_renderers 添加 (#15130)

Bug 修复

  • 修复 AzureDataFactory 钩子的 属性 (#14704)

1.2.0

功能

  • 添加 Azure 数据工厂 钩子 (#11015)

Bug 修复

  • Bug修复: 修复 azure 存储 blob 中 的 远程 日志 显示 在 一行中 (#14313)

  • 修复 AzureDataFactoryHook 无法 实例化其 连接 (#14565)

1.1.0

更新了文档和自述文件。

功能

  • 将 azure blob 升级到 v12 (#12188)

  • 修复 Azure 数据资源管理器 运算符 (#13520)

  • 添加 AzureDatalakeStorageDeleteOperator (#13206)

1.0.0

提供程序的初始版本。

此条目是否有帮助？