DatabricksWorkflowPlugin

概述

DatabricksWorkflowPlugin 通过为任务提供链接来增强 Airflow UI，这些链接允许用户在 Databricks 工作区中查看 Databricks 作业运行。此外，它还提供了在工作流中修复任务的链接。

功能

  • 任务级别链接：在工作流中，每个任务都包含指向作业运行的链接以及针对单个任务的修复链接。

  • 工作流级别链接：在工作流级别，对于作业启动任务，插件提供了一个链接来修复所有失败的任务以及指向 Databricks 工作区中作业运行的链接（允许用户在 Databricks 帐户中监视作业）。

示例

  • 单个任务的作业运行链接和修复链接:

../_images/workflow_plugin_single_task.png

  • 指向作业运行和修复所有失败任务的工作流级别链接:

../_images/workflow_plugin_launch_task.png

注释

Databricks 不允许修复在工作流之外启动的具有单个任务的作业。因此，对于这些任务，仅提供作业运行链接。

用法

理想情况下，安装提供程序也会安装插件，并且它应该在您的部署中自动工作。但是，如果自定义配置阻止了插件的使用，请确保插件已正确安装并在您的 Airflow 环境中配置以利用其功能。插件将自动检测 Databricks 作业，因为链接嵌入在相关的操作符中。

此条目是否有帮助？