用户界面 / 截图

Airflow 用户界面可以轻松监控和排除数据管道故障。以下是 Airflow 用户界面中一些功能和可视化的快速概述。

DAG 视图

环境中 DAG 的列表,以及指向有用页面的快捷方式集。您可以一目了然地看到有多少任务成功、失败或正在运行。要隐藏已完成的任务,请设置 show_recent_stats_for_completed_runs = False

为了过滤 DAG(例如按团队),您可以在每个 DAG 中添加标签。过滤器保存在 cookie 中,可以通过重置按钮重置。例如

dag = DAG("dag", tags=["team1", "sql"])

_images/dags.png

集群活动视图

用户界面中的原生 Airflow 仪表板页面,用于收集多个用于监控 Airflow 集群的有用指标。


_images/cluster_activity.png

数据集视图

当前数据集的组合列表和说明 DAG 如何生成和使用它们的图形。

单击列表或图形中的任何数据集都将突出显示它及其关系,并过滤列表以显示已更新该数据集的任务实例的最近历史以及它是否已触发进一步的 DAG 运行。


_images/datasets.png

网格视图

跨越时间的 DAG 的条形图和网格表示。顶行是按持续时间划分的 DAG 运行图表,下方是任务实例。如果管道延迟,您可以快速查看不同步骤的位置并识别阻塞的步骤。


_images/grid.png

单击持续时间条选择 DAG 运行时,详细信息面板将更新

_images/grid_run_details.png

或通过单击状态框选择任务实例

_images/grid_instance_details.png

或通过单击 task_id 选择所有运行中的任务

_images/grid_task_details.png

手动运行由播放图标指示(就像“触发 DAG”按钮一样)。数据集触发的运行由数据库图标指示

_images/run_types.png

任务组由插入符号指示,可以打开或关闭

_images/grid_task_group.png

映射的任务由方括号指示,并将在“映射的任务”面板中显示每个映射的任务实例的表格

_images/grid_mapped_task.png

图形视图

图形视图可能是最全面的。可视化 DAG 的依赖关系及其特定运行的当前状态。


_images/graph.png

日历视图

日历视图可以让您概览整个 DAG 在几个月甚至几年的历史记录。让您快速查看运行的总体成功/失败率随时间推移的趋势。


_images/calendar.png

变量视图

变量视图允许您列出、创建、编辑或删除作业期间使用的变量的键值对。如果密钥包含任何默认情况下为 ('password', 'secret', 'passwd', 'authorization', 'api_key', 'apikey', 'access_token') 中的任何单词,则变量的值将被隐藏,但可以配置为以明文显示。请参阅 屏蔽敏感数据


_images/variable_hidden.png

甘特图

甘特图可以让您分析任务持续时间和重叠。您可以快速识别瓶颈以及特定 DAG 运行花费的大部分时间。


_images/gantt.png

任务持续时间

过去 N 次运行中不同任务的持续时间。此视图可让您查找异常值并快速了解 DAG 在多次运行中花费的时间。


_images/duration.png

着陆时间

任务实例的着陆时间是 dag 运行的数据间隔结束时间(通常这意味着 dag“应该”运行的时间)与 dag 运行完成时间之间的差值。


_images/landing_times.png

代码视图

透明度就是一切。虽然管道的代码在源代码管理中,但这是一种快速获取生成 DAG 的代码并提供更多上下文的方法。


_images/code.png

触发表单

如果使用箭头按钮触发手动 DAG 运行,则会显示一个表单。表单显示基于 参数 中描述的 DAG 参数。


_images/trigger-dag-tutorial-form.png

审计日志

查看与 DAG 相关的所有事件。通过更改任务和 DAG 运行选择以及包含/排除不同的事件名称来过滤事件。


_images/audit_log.png

此条目有帮助吗?