apache-airflow-providers-dbt-cloud

更新日志

4.0.0

注意

此提供程序的版本仅适用于 Airflow 2.9+,如 Apache Airflow 提供程序支持策略 中所述。

重大更改

警告

所有已弃用的类、参数和特性都已从 DBT 提供程序包中删除。引入了以下重大更改

  • 传感器
    • 删除 airflow.providers.dbt.cloud.sensors.dbt.DbtCloudJobRunAsyncSensor。使用 airflow.providers.dbt.cloud.sensors.dbt.DbtCloudJobRunSensor,并将 deferrable 设置为 True

    • DbtCloudJobRunSensor 中删除了 polling_interval 参数。请改用 poke_interval

  • 删除 DBT 中的 提供程序 弃用 (#44638)

其他

  • 提供程序 中的 最低 Airflow 版本 提升 Airflow 2.9.0 (#44956)

  • 修复 yoda-conditions (#44466)

  • 利用 更多 信息 确定性地 生成 OpenLineage run_id (#43936)

  • 删除 dbt 提供程序 注释掉的 断点 (#44163)

  • 代码库中 execution_date 重命名为 logical_date (#43902)

3.11.2

Bug 修复

  • 添加了 条件 检查 是否 计划 保存 重新运行 (#43453)

3.11.1

其他

  • asgiref>=2.3.0 设置为 下限 (#43001)

3.11.0

功能

  • 添加 dbt Cloud 连接 提供 代理 的功能 (#42737)

其他

  • 简化 最近 dbt 提供程序 更改 的代码 (#42840)

3.10.1

其他

  • 提供程序中 删除 已弃用的 soft_fail (#41710)

3.10.0

注意

此提供程序的版本仅适用于 Airflow 2.8+,如 Apache Airflow 提供程序支持策略 中所述。

其他

  • 提供程序 中的 最低 Airflow 版本 提升 Airflow 2.8.0 (#41396)

3.9.0

功能

  • 'retry_from_failure' 参数 添加 DbtCloudRunJobOperator (#38868)

Bug 修复

  • 修复 'DbtCloudRunJobOperator' 'reuse_existing_run' 使用 正确的 状态 参数 (#40048)

3.8.1

警告

只有在您运行 Airflow>=2.10.0 时,才需要在本说明中采取操作。在 Airflow 2.10.0 中,我们修复了 try_number 的工作方式,使其不再根据任务实例状态返回不同的值。重要的是,在任务完成后,它不再显示 current_try + 1。因此,我们修补了这个提供程序以修复 try_number 引用,使其不再针对旧的错误行为进行调整。

Bug 修复

  • 调度程序 处理 try_number 递增 (#39336)

  • 验证 dbt 'cause' 字段 小于 255 字符 (#38896)

其他

  • 更快地 'airflow_version' 导入 (#39552)

  • 简化 'airflow_version' 导入 (#39497)

  • dbt-cloud openlineage 提供程序 之间 添加 (可选) 依赖关系 (#39366)

3.8.0

注意

此提供程序的版本仅适用于 Airflow 2.7+,如 Apache Airflow 提供程序支持策略 中所述。

Bug 修复

  • fix(dbt): 修复 DbtCloudRunJobOperator reuse_existing_run 设置为 True 设置 错误的 有效负载 (#39271)

其他

  • 提供程序 中的 最低 Airflow 版本 提升 Airflow 2.7.0 (#39240)

  • 迁移 用于 项目 端点的 dbt v3 api (#39214)

3.7.1

Bug 修复

  • fix: disabled_for_operators 现在 停止 整个 事件 发射 (#38033)

  • fix(dbt): 触发器 while 循环 添加 return 语句 生成 (#38395)

3.7.0

功能

  • feat(providers/dbt): 允许 DbtCloudRunJobOperator 重用 现有 运行 添加 reuse_existing_run (#37474)

3.6.1

其他

  • aiohttp 最低 版本 提升 避免 CVE-2024-23829 CVE-2024-23334 (#37110)

  • feat: 所有 类、 函数、 方法 弃用 切换为 装饰器 (#36876)

3.6.0

功能

  • feat: 任务 实例生成 OpenLineage run_id 添加 dag_id。 (#36659)

Bug 修复

  • 修复 提供程序中 warnings.warn 中的 stacklevel (#36831)

3.5.1

Bug 修复

  • 子类中 遵循 BaseHook 连接 字段 方法 签名 (#36086)

3.5.0

注意

此提供程序的版本仅适用于 Airflow 2.6+,如 Apache Airflow 提供程序支持策略 中所述。

其他

  • providers 中的 Airflow 最低版本 提升至 Airflow 2.6.0 (#36017)

3.4.1

Bug 修复

  • DbtCloudRunJobOperator 延迟 执行中添加了 已取消 的处理 (#35597)

3.4.0

注意

Apache Airflow providers 支持策略 中所述,此 provider 版本仅适用于 Airflow 2.5+。

其他

  • 提升 providers 最低 airflow 版本 (#34728)

  • dbt operator 中移除无用的 print (#34322)

3.3.0

新特性

  • DBT Cloud 添加 OpenLineage 支持。 (#33959)

Bug 修复

  • fix(providers/redis): 当引发异常时,遵守 soft_fail 参数 (#34164)

  • dbt, openlineage: 在延迟后设置 run_id,如果 operator 没有设置 run_id,则不记录错误 (#34270)

其他

  • providers 代码中移除一些无用的 try/except (#33967)

  • providers 中使用带有多个上下文的单个语句,而不是嵌套语句 (#33768)

3.2.3

其他

  • 重构: 移除无用的 str() 调用 (#33629)

  • 重构: 简化 较小 providers 中的代码 (#33234)

3.2.2

其他

  • 添加 default_deferrable 配置 (#31712)

3.2.1

注意

此版本已放弃对 Python 3.7 的支持

其他

  • 移除 Python 3.7 支持 (#30963)

3.2.0

注意

Apache Airflow providers 支持策略 中所述,此 provider 版本仅适用于 Airflow 2.4+。

其他

  • 提升 providers 中的 Airflow 最低版本 (#30917)

  • 优化 DbtCloudJobRunSensor 中的延迟执行模式 (#30968)

  • 优化 DbtCloudRunJobOperator 的延迟执行模式 (#31188)

3.1.1

其他

  • DbtCloudJobRunAsyncSensor 逻辑合并到 DbtCloudJobRunSensor (#30227)

  • DbtCloudHook 中的类型导入移至 TYPE_CHECKING 之后 (#29989)

3.1.0

新特性

  • 添加 'DbtCloudJobRunAsyncSensor' (#29695)

3.0.0

破坏性更改

从 2.0.0 版本开始,用户可以通过 Airflow 连接中的 schema 参数指定单租户 dbt Cloud 域。 随后,在 2.3.1 版本中,用户还可以通过使用 Airflow 连接的 host 参数来指定整个租户域,从而连接到美国地区以外的 dbt Cloud 实例以及私有实例。 仍然保留了使用 schema 的向后兼容性。3.0.0 版本删除了使用 schema 指定 dbt Cloud 实例的租户域的支持。 如果您希望连接到美国以外的单租户实例或私有实例,则必须使用 host 参数在 Airflow 连接中指定 _整个_ 租户域名。

  • DbtCloudHook 中删除 Connection.schema 的使用 (#29166)

新特性

  • 允许将 dbt Cloud 工件下载到不存在的路径 (#29048)

  • 'DbtCloudRunJobOperator' 添加可延迟模式 (#29014)

其他

  • DbtCloudRunJobOperator 中的 'trigger_reason' 提供更多上下文 (#28994)

2.3.1

Bug 修复

  • dbt Cloud 连接中使用整个租户域名 (#28890)

2.3.0

注意

Apache Airflow providers 支持策略 中所述,此 provider 版本仅适用于 Airflow 2.3+。

其他

  • 将所有 providers 最低 airflow 版本移至 2.3.0 (#27196)

2.2.0

新特性

  • 添加 'DbtCloudListJobsOperator' (#26475)

2.1.0

新特性

  • 使用 ParamSpec 改进 taskflow 类型提示 (#25173)

2.0.1

Bug 修复

  • 更新 providers 以使用 functools 兼容性 来获取 ''cached_property'' (#24582)

2.0.0

破坏性更改

注意

Apache Airflow providers 支持策略 中所述,此 provider 版本仅适用于 Airflow 2.2+。

新特性

  • 使 dbt Cloud provider 能够与单租户实例进行交互 (#24264)

Bug 修复

  • 修复 dbt Cloud provider 描述中的拼写错误 (#23179)

  • 修复 main 中的新 MyPy 错误 (#22884)

1.0.2

Bug 修复

  • 修复 为所有 providers 错误添加的 install_requires (#22382)

1.0.1

该 provider 的初始版本。

此条目是否有帮助?