UI / 屏幕截图¶
Airflow UI 使您可以轻松监控和排查数据管道问题。以下是您可以在 Airflow UI 中找到的一些功能和可视化的快速概述。
DAGs 视图¶
列出您的环境中 DAG,并提供指向有用页面的快捷方式。您可以一目了然地看到有多少任务成功、失败或正在运行。要隐藏已完成的任务,请设置 show_recent_stats_for_completed_runs = False
为了过滤 DAG(例如按团队),您可以在每个 DAG 中添加标签。过滤器保存在 cookie 中,可以通过重置按钮重置。例如
dag = DAG("dag", tags=["team1", "sql"])
数据集视图¶
当前数据集的组合列表以及说明它们如何由 DAG 生成和使用的图表。
单击列表或图表中的任何数据集将突出显示它及其关系,并过滤列表以显示已更新该数据集的任务实例的最近历史以及它是否触发了进一步的 DAG 运行。
网格视图¶
一个跨越时间的 DAG 的条形图和网格表示。顶行是按持续时间划分的 DAG 运行图表,下面是任务实例。如果管道延迟,您可以快速查看不同步骤的位置并识别阻塞的步骤。
通过单击持续时间条选择 DAG 运行,详细信息面板将更新
或通过单击状态框选择任务实例
或通过单击 task_id 选择所有运行中的任务
手动运行由播放图标指示(就像“触发 DAG”按钮一样)。数据集触发的运行由数据库图标指示
任务组由插入符号指示,可以打开或关闭
映射的任务由方括号指示,将在“映射的任务”面板中显示每个映射的任务实例的表格
变量视图¶
变量视图允许您列出、创建、编辑或删除作业期间使用的变量的键值对。如果键包含默认的 (‘password’, ‘secret’, ‘passwd’, ‘authorization’, ‘api_key’, ‘apikey’, ‘access_token’) 中的任何单词,则变量的值将隐藏,但可以配置为以明文显示。请参阅 屏蔽敏感数据。