日志记录与监控¶
由于数据管道通常在没有任何人工监督的情况下运行,因此可观察性至关重要。
Airflow 支持多种日志记录机制,以及一个内置机制,用于发出指标,以便在其他下游系统中进行收集、处理和可视化。 日志记录功能对于诊断数据管道运行过程中可能出现的问题至关重要。
除了标准的日志记录和指标功能外,Airflow 还支持使用 Airflow 健康检查来检测 Airflow 本身运行中的错误。 由于 Airflow 通常用于在生产环境中运行数据管道,因此它还支持通过与 Sentry 集成进行实时错误通知。