Airflow 峰会 2025 将于 10 月 07-09 日举行。立即注册享受早鸟票优惠!

日志记录和监控架构

Airflow 支持多种日志记录和监控机制,如下所示。

../../_images/arch-diag-logging.png

默认情况下,Airflow 支持将日志记录到本地文件系统。这包括来自 Web 服务器、调度器和运行任务的工作进程的日志。这适用于开发环境和快速调试。

对于云部署,Airflow 还有社区贡献的任务处理器,用于将日志记录到云存储,例如 AWS、Google Cloud 和 Azure。

日志记录设置和选项可以在 Airflow 配置文件中指定,该文件照常需要对所有 Airflow 进程(Web 服务器、调度器和工作进程)可用。

您可以通过在 Airflow 配置文件中指定日志记录设置,或者使用高级功能进行高级配置,从而为每个 Airflow 组件自定义日志记录设置。

对于生产部署,我们建议使用 FluentD 捕获日志并将其发送到 ElasticSearch 或 Splunk 等目标。

注意

有关配置日志记录的更多信息,请参阅任务日志记录

类似地,我们建议使用 StatsD 从 Airflow 收集指标并将其发送到 Prometheus 等目标。

注意

有关配置指标的更多信息,请参阅指标配置

本条目有帮助吗?