使用 KEDA 进行自动缩放¶
此功能仍处于实验阶段。
KEDA 代表 Kubernetes 事件驱动自动缩放。 KEDA 是一个自定义控制器,允许用户创建到 Kubernetes Horizontal Pod Autoscaler 的自定义绑定。自动缩放器将根据 queued
或 running
状态的任务数量调整活动 Celery 工作器的数量。
helm repo add kedacore https://kedacore.github.io/charts
helm repo update
kubectl create namespace keda
helm install keda kedacore/keda \
--namespace keda \
--version "v2.0.0"
通过在 helm 命令或 values.yaml
中设置 workers.keda.enabled=true
为 airflow 实例启用。
kubectl create namespace airflow
helm repo add apache-airflow https://airflow.apache.org
helm install airflow apache-airflow/airflow \
--namespace airflow \
--set executor=CeleryExecutor \
--set workers.keda.enabled=true
将在 airflow 命名空间中创建一个 ScaledObject
和一个 hpa
。
KEDA 将通过查询 Airflow 元数据数据库来推导出所需的 Celery 工作器数量
SELECT
ceil(COUNT(*)::decimal / {{ .Values.config.celery.worker_concurrency }})
FROM task_instance
WHERE state='running' OR state='queued'
注意
通过 Helm 值 config.celery.worker_concurrency
(即,而不是 airflow.cfg 或环境变量)设置 Celery 工作器并发性,以便 KEDA 触发器与工作器并发性设置一致。