管理日志¶
在管理 Airflow 日志时,您有多种选择。
无持久化¶
使用此选项,Airflow 将在本地记录到每个 Pod。因此,日志仅在 Pod 的生命周期内可用。
helm upgrade --install airflow apache-airflow/airflow \
--set logs.persistence.enabled=false
# --set workers.persistence.enabled=false (also needed if using ``CeleryExecutor``)
Celery worker 日志持久化¶
如果您正在使用 CeleryExecutor
,则 worker 默认情况下会使用 volumeClaimTemplate
创建的卷声明将日志持久化。
您可以修改模板
helm upgrade --install airflow apache-airflow/airflow \
--set executor=CeleryExecutor \
--set workers.persistence.size=10Gi
请注意,使用此选项时,只会持久化任务日志,这与启用日志持久化(也会持久化调度程序日志)不同。
启用日志持久化¶
此选项将预配一个访问模式为 ReadWriteMany
的 PersistentVolumeClaim
。然后,Airflow 的每个组件都将登录到同一卷。
并非所有卷插件都支持 ReadWriteMany
访问模式。有关详细信息,请参阅持久卷访问模式。
helm upgrade --install airflow apache-airflow/airflow \
--set logs.persistence.enabled=true
# you can also override the other persistence
# by setting the logs.persistence.* values
# Please refer to values.yaml for details
外部预置 PVC¶
在这种方法中,Airflow 将登录到现有的 ReadWriteMany
PVC。您将卷声明的名称传递给图表。
helm upgrade --install airflow apache-airflow/airflow \
--set logs.persistence.enabled=true \
--set logs.persistence.existingClaim=my-volume-claim
请注意,该卷需要对 Airflow 用户可写。最简单的方法是确保 GID 0
具有写权限。更多信息可以在Docker 镜像入口点文档中找到。
Elasticsearch¶
如果您的集群将日志转发到 Elasticsearch,则可以将 Airflow 配置为从中检索任务日志。有关更多详细信息,请参阅Elasticsearch 提供程序指南。
helm upgrade --install airflow apache-airflow/airflow \
--set elasticsearch.enabled=true \
--set elasticsearch.secretName=my-es-secret
# Other choices exist. Please refer to values.yaml for details.