命令行界面和环境变量参考

命令行界面

Airflow 具有非常丰富的命令行界面,它允许对 DAG 进行多种类型的操作、启动服务以及支持开发和测试。

注意

有关使用 CLI 的更多信息,请参阅 使用命令行界面

实现执行器的提供程序可能会向 CLI 贡献其他命令。以下是社区提供程序贡献的命令

Usage: airflow [-h] GROUP_OR_COMMAND ...

位置参数

GROUP_OR_COMMAND

可能的选择:速查表、配置、连接、DAG 处理器、DAG、数据库、信息、内部 API、作业、Kerberos、插件、池、提供程序、角色、轮换 Fernet 密钥、调度器、独立、同步权限、任务、触发器、用户、变量、版本、Web 服务器

子命令

速查表

显示速查表

airflow cheat-sheet [-h] [-v]
命名参数
-v, --verbose

使日志输出更详细

默认:False

配置

查看配置

airflow config [-h] COMMAND ...
位置参数
命令

可能的选择:获取值、列表

子命令
获取值

打印配置的值

airflow config get-value [-h] [-v] section option
位置参数
section

节名称

option

选项名称

命名参数
-v, --verbose

使日志输出更详细

默认:False

列表

列出配置的选项

airflow config list [-h] [--color {on,off,auto}] [-c] [-a] [-p] [-d] [-V] [-e]
                    [-s] [--section SECTION] [-v]
命名参数
--color

可能的选择:on、off、auto

是否发出彩色输出(默认值:自动)

默认值:“auto”

-c, --comment-out-everything

注释掉所有配置选项。作为新安装的起点很有用

默认:False

-a, --defaults

仅显示默认值 - 不包括本地配置、源、包含说明、示例、变量。注释掉所有内容。

默认:False

-p, --exclude-providers

排除提供程序配置(默认情况下包括它们)

默认:False

-d, --include-descriptions

显示配置变量的说明

默认:False

-V, --include-env-vars

显示每个选项的环境变量

默认:False

-e, --include-examples

显示配置变量的示例

默认:False

-s, --include-sources

显示配置变量的来源

默认:False

--section

节名称

-v, --verbose

使日志输出更详细

默认:False

连接

管理连接

airflow connections [-h] COMMAND ...
位置参数
命令

可能的选择:添加、创建默认连接、删除、导出、获取、导入、列表、测试

子命令
添加

添加连接

airflow connections add [-h] [--conn-description CONN_DESCRIPTION]
                        [--conn-extra CONN_EXTRA] [--conn-host CONN_HOST]
                        [--conn-json CONN_JSON] [--conn-login CONN_LOGIN]
                        [--conn-password CONN_PASSWORD]
                        [--conn-port CONN_PORT] [--conn-schema CONN_SCHEMA]
                        [--conn-type CONN_TYPE] [--conn-uri CONN_URI]
                        conn_id
位置参数
conn_id

连接 ID,获取/添加/删除/测试连接时需要

命名参数
--conn-description

连接描述,添加连接时可选

--conn-extra

连接 Extra 字段,添加连接时可选

--conn-host

连接主机,添加连接时可选

--conn-json

连接 JSON,使用 JSON 表示形式添加连接时需要

--conn-login

连接登录名,添加连接时可选

--conn-password

连接密码,添加连接时可选

--conn-port

连接端口,添加连接时可选

--conn-schema

连接架构,添加连接时可选

--conn-type

连接类型,在没有 conn_uri 的情况下添加连接时需要

--conn-uri

连接 URI,在没有 conn_type 的情况下添加连接时需要

创建默认连接

从所有提供程序创建所有默认连接

airflow connections create-default-connections [-h] [-v]
命名参数
-v, --verbose

使日志输出更详细

默认:False

删除

删除连接

airflow connections delete [-h] [--color {on,off,auto}] [-v] conn_id
位置参数
conn_id

连接 ID,获取/添加/删除/测试连接时需要

命名参数
--color

可能的选择:on、off、auto

是否发出彩色输出(默认值:自动)

默认值:“auto”

-v, --verbose

使日志输出更详细

默认:False

导出

可以使用以下命令在 STDOUT 中导出所有连接:airflow connections export - 文件格式可以由提供的文件扩展名确定。例如,以下命令将以 JSON 格式导出连接:airflow connections export /tmp/connections.json 可以使用 –file-format 参数来控制文件格式。例如,默认格式是 STDOUT 模式下的 JSON,可以使用以下命令覆盖:airflow connections export - –file-format yaml –file-format 参数也可以用于文件,例如:airflow connections export /tmp/connections –file-format json。以 env 文件格式导出时,可以通过传递选项 –serialization-formaturijson 来控制是使用 URI 格式还是 JSON 格式来序列化连接。

airflow connections export [-h] [--file-format {json,yaml,env}]
                           [--format {json,yaml,env}]
                           [--serialization-format {json,uri}] [-v]
                           file
位置参数
file

用于导出连接的输出文件路径

命名参数
--file-format

可能的选择:json、yaml、env

导出文件的格式

--format

可能的选择:json、yaml、env

已弃用 - 请改用 –file-format。用于导出的文件格式。

--serialization-format

可能的选择:json、uri

.env 格式导出时,定义应如何序列化连接。默认值为 uri

-v, --verbose

使日志输出更详细

默认:False

获取

获取连接

airflow connections get [-h] [--color {on,off,auto}]
                        [-o table, json, yaml, plain] [-v]
                        conn_id
位置参数
conn_id

连接 ID,获取/添加/删除/测试连接时需要

命名参数
--color

可能的选择:on、off、auto

是否发出彩色输出(默认值:自动)

默认值:“auto”

-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

导入

可以从导出命令的输出导入连接。文件类型必须是 json、yaml 或 env,并且会自动推断。

airflow connections import [-h] [--overwrite] [-v] file
位置参数
file

从文件导入连接

命名参数
--overwrite

如果发生冲突,则覆盖现有条目

默认:False

-v, --verbose

使日志输出更详细

默认:False

列表

列出连接

airflow connections list [-h] [--conn-id CONN_ID]
                         [-o table, json, yaml, plain] [-v]
命名参数
--conn-id

如果传递,则仅显示具有指定连接 ID 的项目

-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

测试

测试连接

airflow connections test [-h] [-v] conn_id
位置参数
conn_id

连接 ID,获取/添加/删除/测试连接时需要

命名参数
-v, --verbose

使日志输出更详细

默认:False

DAG 处理器

启动独立的 DAG 处理器实例

airflow dag-processor [-h] [-D] [-p] [-l LOG_FILE] [-n NUM_RUNS] [--pid [PID]]
                      [--stderr STDERR] [--stdout STDOUT] [-S SUBDIR] [-v]
命名参数
-D, --daemon

守护进程而不是在前台运行

默认:False

-p, --do-pickle

尝试 pickle DAG 对象以发送到工作进程,而不是让工作进程运行其代码版本

默认:False

-l, --log-file

日志文件的位置

-n, --num-runs

设置退出前要执行的运行次数

默认值:-1

--pid

PID 文件位置

--stderr

将 stderr 重定向到此文件

--stdout

将 stdout 重定向到此文件

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

dags

管理 DAG

airflow dags [-h] COMMAND ...
位置参数
命令

可选值:backfill, delete, details, list, list-import-errors, list-jobs, list-runs, next-execution, pause, report, reserialize, show, show-dependencies, state, test, trigger, unpause

子命令
backfill

在指定日期范围内运行 DAG 的子部分。如果使用 reset_dag_run 选项,backfill 将首先提示用户是否应清除 backfill 日期范围内的所有先前 dag_run 和 task_instances。如果使用 rerun_failed_tasks,backfill 将自动重新运行 backfill 日期范围内先前失败的任务实例

airflow dags backfill [-h] [-c CONF] [--continue-on-failures]
                      [--delay-on-limit DELAY_ON_LIMIT] [--disable-retry] [-x]
                      [-n] [-e END_DATE] [-i] [-I] [-l] [-m] [--pool POOL]
                      [--rerun-failed-tasks] [--reset-dagruns] [-B]
                      [-s START_DATE] [-S SUBDIR] [-t TASK_REGEX]
                      [--treat-dag-as-regex] [--treat-dag-id-as-regex] [-v]
                      [-y]
                      dag_id
位置参数
dag_id

DAG 的 ID

命名参数
-c, --conf

JSON 字符串,会被序列化到 DagRun 的 conf 属性中

--continue-on-failures

如果设置,即使某些任务失败,backfill 也会继续执行

默认:False

--delay-on-limit

当达到最大活动 DAG 运行次数限制 (max_active_runs) 时,在尝试再次执行 DAG 运行之前等待的时间(以秒为单位)

默认值: 1.0

--disable-retry

如果设置,backfill 会将任务设置为失败而不重试。

默认:False

-x, --donot-pickle

不要尝试序列化 DAG 对象并将其发送给 worker,只需告诉 worker 运行他们版本的代码

默认:False

-n, --dry-run

对每个任务执行空运行。仅渲染每个任务的模板字段,不做其他操作

默认:False

-e, --end-date

覆盖结束日期 YYYY-MM-DD

-i, --ignore-dependencies

跳过上游任务,仅运行与正则表达式匹配的任务。仅与 task_regex 一起使用

默认:False

-I, --ignore-first-depends-on-past

仅忽略第一组任务的 depends_on_past 依赖项(回填中的后续执行确实遵守 depends_on_past)

默认:False

-l, --local

使用 LocalExecutor 运行任务

默认:False

-m, --mark-success

将作业标记为成功,而不运行它们

默认:False

--pool

要使用的资源池

--rerun-failed-tasks

如果设置,backfill 将自动重新运行 backfill 日期范围内的所有失败任务,而不是抛出异常

默认:False

--reset-dagruns

如果设置,backfill 将删除现有的与 backfill 相关的 DAG 运行,并以新的正在运行的 DAG 运行重新开始

默认:False

-B, --run-backwards

如果设置,backfill 将首先从最近的一天开始运行任务。如果有依赖于过去的 depends_on_past 任务,此选项将抛出异常

默认:False

-s, --start-date

覆盖开始日期 YYYY-MM-DD

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-t, --task-regex

过滤特定 task_ids 的正则表达式(可选)

--treat-dag-as-regex

已弃用 - 请改用 –treat-dag-id-as-regex

默认:False

--treat-dag-id-as-regex

如果设置,dag_id 将被视为正则表达式而不是精确的字符串

默认:False

-v, --verbose

使日志输出更详细

默认:False

-y, --yes

不要提示确认。请谨慎使用!

默认:False

delete

删除与指定 DAG 相关的所有数据库记录

airflow dags delete [-h] [-v] [-y] dag_id
位置参数
dag_id

DAG 的 ID

命名参数
-v, --verbose

使日志输出更详细

默认:False

-y, --yes

不要提示确认。请谨慎使用!

默认:False

details

获取给定 DAG ID 的 DAG 详细信息

airflow dags details [-h] [-o table, json, yaml, plain] [-v] dag_id
位置参数
dag_id

DAG 的 ID

命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

list

列出所有 DAG

airflow dags list [-h] [--columns COLUMNS] [-o table, json, yaml, plain]
                  [-S SUBDIR] [-v]
命名参数
--columns

要渲染的列列表。(默认值:[‘dag_id’, ‘fileloc’, ‘owner’, ‘is_paused’])

默认值: (‘dag_id’, ‘fileloc’, ‘owners’, ‘is_paused’)

-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

list-import-errors

列出所有具有导入错误的 DAG

airflow dags list-import-errors [-h] [-o table, json, yaml, plain] [-S SUBDIR]
                                [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

list-jobs

列出作业

airflow dags list-jobs [-h] [-d DAG_ID] [--limit LIMIT]
                       [-o table, json, yaml, plain]
                       [--state running, success, restarting, failed] [-v]
命名参数
-d, --dag-id

DAG 的 ID

--limit

返回有限数量的记录

-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

--state

可选值:running, success, restarting, failed

仅列出与状态对应的作业

-v, --verbose

使日志输出更详细

默认:False

list-runs

列出给定 DAG ID 的 DAG 运行。如果给出 state 选项,则只会搜索具有给定状态的所有 dagruns。如果给出 no_backfill 选项,它将过滤掉给定 dag id 的所有 backfill dagruns。如果给出 start_date,它将过滤掉在此日期之前执行的所有 dagruns。如果给出 end_date,它将过滤掉在此日期之后执行的所有 dagruns。

airflow dags list-runs [-h] -d DAG_ID [-e END_DATE] [--no-backfill]
                       [-o table, json, yaml, plain] [-s START_DATE]
                       [--state queued, running, success, failed] [-v]
命名参数
-d, --dag-id

DAG 的 ID

-e, --end-date

覆盖结束日期 YYYY-MM-DD

--no-backfill

过滤掉给定 dag id 的所有 backfill dagruns

默认:False

-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-s, --start-date

覆盖开始日期 YYYY-MM-DD

--state

可选值:queued, running, success, failed

仅列出与状态对应的 DAG 运行

-v, --verbose

使日志输出更详细

默认:False

next-execution

获取 DAG 的下一个执行时间。它返回一个执行时间,除非给出了 num-executions 选项

airflow dags next-execution [-h] [-n NUM_EXECUTIONS] [-S SUBDIR] [-v] dag_id
位置参数
dag_id

DAG 的 ID

命名参数
-n, --num-executions

要显示的下一个执行时间的数量

默认值: 1

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

pause

暂停一个或多个 DAG。此命令允许停止指定 DAG 的执行,禁用进一步的任务调度。使用 –treat-dag-id-as-regex 通过将 –dag-id 视为正则表达式模式来定位多个 DAG。

airflow dags pause [-h] [-o table, json, yaml, plain] [-S SUBDIR]
                   [--treat-dag-id-as-regex] [-v] [-y]
                   dag_id
位置参数
dag_id

DAG 的 ID

命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

--treat-dag-id-as-regex

如果设置,dag_id 将被视为正则表达式而不是精确的字符串

默认:False

-v, --verbose

使日志输出更详细

默认:False

-y, --yes

不要提示确认。请谨慎使用!

默认:False

report

显示 DagBag 加载报告

airflow dags report [-h] [-o table, json, yaml, plain] [-S SUBDIR] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

reserialize

从元数据数据库中删除所有序列化的 DAG。这将导致所有 DAG 从 DagBag 文件夹重新序列化。如果你的序列化 DAG 与你正在运行的 Airflow 版本不同步,这可能会很有帮助。

airflow dags reserialize [-h] [--clear-only] [-S SUBDIR] [-v]
命名参数
--clear-only

如果传递,将清除序列化的 DAG,但不会重新序列化。

默认:False

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

show

–imgcat 选项仅在 iTerm 中有效。

有关更多信息,请参阅:https://www.iterm2.com/documentation-images.html

–save 选项将结果保存到指示的文件中。

文件格式由文件扩展名确定。有关支持的格式的更多信息,请参阅:https://graphviz.cpp.org.cn/doc/info/output.html

如果要创建 PNG 文件,则应执行以下命令:airflow dags show <DAG_ID> –save output.png

如果要创建 DOT 文件,则应执行以下命令:airflow dags show <DAG_ID> –save output.dot

airflow dags show [-h] [--imgcat] [-s SAVE] [-S SUBDIR] [-v] dag_id
位置参数
dag_id

DAG 的 ID

命名参数
--imgcat

使用 imgcat 工具显示图表。

默认:False

-s, --save

将结果保存到指示的文件中。

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

show-dependencies

–imgcat 选项仅在 iTerm 中有效。

有关更多信息,请参阅:https://www.iterm2.com/documentation-images.html

–save 选项将结果保存到指示的文件中。

文件格式由文件扩展名确定。有关支持的格式的更多信息,请参阅:https://graphviz.cpp.org.cn/doc/info/output.html

如果要创建 PNG 文件,则应执行以下命令:airflow dags show-dependencies –save output.png

如果要创建 DOT 文件,则应执行以下命令:airflow dags show-dependencies –save output.dot

airflow dags show-dependencies [-h] [--imgcat] [-s SAVE] [-S SUBDIR] [-v]
命名参数
--imgcat

使用 imgcat 工具显示图表。

默认:False

-s, --save

将结果保存到指示的文件中。

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

state

获取 DAG 运行的状态

airflow dags state [-h] [-S SUBDIR] [-v] dag_id execution_date
位置参数
dag_id

DAG 的 ID

execution_date

DAG 的执行日期

命名参数
-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

test

为给定的 DAG 和执行日期执行一个单一的 DagRun。

–imgcat-dagrun 选项仅在 iTerm 中有效。

有关更多信息,请参阅:https://www.iterm2.com/documentation-images.html

如果使用 –save-dagrun,则在完成 backfill 后,将当前 DAG 运行的图表保存到指示的文件中。文件格式由文件扩展名确定。有关支持的格式的更多信息,请参阅:https://graphviz.cpp.org.cn/doc/info/output.html

如果要创建 PNG 文件,则应执行以下命令:airflow dags test <DAG_ID> <EXECUTION_DATE> –save-dagrun output.png

如果要创建 DOT 文件,则应执行以下命令:airflow dags test <DAG_ID> <EXECUTION_DATE> –save-dagrun output.dot

airflow dags test [-h] [-c CONF] [--imgcat-dagrun]
                  [--mark-success-pattern MARK_SUCCESS_PATTERN]
                  [--save-dagrun SAVE_DAGRUN] [--show-dagrun] [-S SUBDIR]
                  [--use-executor] [-v]
                  dag_id [execution_date]
位置参数
dag_id

DAG 的 ID

execution_date

DAG 的执行日期(可选)

命名参数
-c, --conf

JSON 字符串,会被序列化到 DagRun 的 conf 属性中

--imgcat-dagrun

完成 dag 运行后,使用 imgcat 工具在屏幕上打印当前 DAG 运行的图表。

默认:False

--mark-success-pattern

不要运行与正则表达式 <MARK_SUCCESS_PATTERN> 匹配的 task_ids,而是将它们标记为成功。可用于跳过本地测试中的依赖项检查传感器或清理步骤。

--save-dagrun

在完成 backfill 后,将当前 DAG 运行的图表保存到指示的文件中。

--show-dagrun

在完成 backfill 后,显示当前 DAG 运行的图表。

该图表采用 DOT 语言

默认:False

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

--use-executor

使用执行器测试 DAG。默认情况下,它在没有执行器的情况下运行 DAG。如果设置,它将使用环境中配置的执行器。

默认:False

-v, --verbose

使日志输出更详细

默认:False

触发

触发一个新的 DAG 运行。如果 DAG 已暂停,则 dagrun 状态将保持排队状态,并且任务将不会运行。

airflow dags trigger [-h] [-c CONF] [-e EXEC_DATE] [--no-replace-microseconds]
                     [-o table, json, yaml, plain] [-r RUN_ID] [-S SUBDIR]
                     [-v]
                     dag_id
位置参数
dag_id

DAG 的 ID

命名参数
-c, --conf

JSON 字符串,会被序列化到 DagRun 的 conf 属性中

-e, --exec-date

DAG 的执行日期

--no-replace-microseconds

是否应将微秒置零

默认值:True

-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-r, --run-id

有助于识别此运行

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

取消暂停

恢复一个或多个 DAG。此命令允许恢复指定 DAG 的执行,从而启用进一步的任务调度。使用 --treat-dag-id-as-regex--dag-id 视为正则表达式模式来定位多个 DAG。

airflow dags unpause [-h] [-o table, json, yaml, plain] [-S SUBDIR]
                     [--treat-dag-id-as-regex] [-v] [-y]
                     dag_id
位置参数
dag_id

DAG 的 ID

命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

--treat-dag-id-as-regex

如果设置,dag_id 将被视为正则表达式而不是精确的字符串

默认:False

-v, --verbose

使日志输出更详细

默认:False

-y, --yes

不要提示确认。请谨慎使用!

默认:False

数据库

数据库操作

airflow db [-h] COMMAND ...
位置参数
命令

可选值:check, check-migrations, clean, downgrade, drop-archived, export-archived, init, migrate, reset, shell, upgrade

子命令
检查

检查是否可以访问数据库

airflow db check [-h] [--retry RETRY] [--retry-delay RETRY_DELAY] [-v]
命名参数
--retry

在失败时重试数据库检查

默认值:0

--retry-delay

重试之间的等待时间(秒)

默认值: 1

-v, --verbose

使日志输出更详细

默认:False

检查迁移

检查迁移是否已完成(或持续检查直到超时)

airflow db check-migrations [-h] [-t MIGRATION_WAIT_TIMEOUT] [-v]
命名参数
-t, --migration-wait-timeout

等待数据库迁移的超时时间

默认值:60

-v, --verbose

使日志输出更详细

默认:False

清理

清除元存储表中的旧记录

airflow db clean [-h] --clean-before-timestamp CLEAN_BEFORE_TIMESTAMP
                 [--dry-run] [--skip-archive] [-t TABLES] [-v] [-y]
命名参数
--clean-before-timestamp

应清除数据的日期或时间戳。如果未提供时区信息,则假定日期采用 Airflow 默认时区。示例:'2022-01-01 00:00:00+01:00'

--dry-run

执行空运行

默认:False

--skip-archive

不要在存档表中保留已清除的记录。

默认:False

-t, --tables

要执行维护的表名称(使用逗号分隔的列表)。选项:['callback_request', 'celery_taskmeta', 'celery_tasksetmeta', 'dag', 'dag_run', 'dataset_event', 'import_error', 'job', 'log', 'session', 'sla_miss', 'task_fail', 'task_instance', 'task_instance_history', 'task_reschedule', 'trigger', 'xcom']

-v, --verbose

使日志输出更详细

默认:False

-y, --yes

不要提示确认。请谨慎使用!

默认:False

降级

降级元数据数据库的模式。您必须提供 --to-revision--to-version。要打印但不执行命令,请使用选项 --show-sql-only。如果使用选项 --from-revision--from-version,您还必须使用 --show-sql-only,因为如果实际运行迁移,我们应该仅从当前 Alembic 修订版本进行迁移。

airflow db downgrade [-h] [--from-revision FROM_REVISION]
                     [--from-version FROM_VERSION] [-s] [-r TO_REVISION]
                     [-n TO_VERSION] [-v] [-y]
命名参数
--from-revision

(可选)如果生成 sql,可以提供一个 from Alembic 修订版本

--from-version

(可选)如果生成 sql,可以提供一个 from 版本

-s, --show-sql-only

不实际运行迁移;仅打印出用于脱机迁移的 sql 脚本。如果使用 --from-revision--from-version 中的任一选项,则为必填项。

默认:False

-r, --to-revision

要降级到的 Alembic 修订版本。注意:必须提供 --to-revision--to-version

-n, --to-version

(可选)如果提供,则仅运行到此版本的迁移。

-v, --verbose

使日志输出更详细

默认:False

-y, --yes

不要提示确认。请谨慎使用!

默认:False

删除存档

删除通过 db clean 命令创建的存档表

airflow db drop-archived [-h] [-t TABLES] [-y]
命名参数
-t, --tables

要执行维护的表名称(使用逗号分隔的列表)。选项:['callback_request', 'celery_taskmeta', 'celery_tasksetmeta', 'dag', 'dag_run', 'dataset_event', 'import_error', 'job', 'log', 'session', 'sla_miss', 'task_fail', 'task_instance', 'task_instance_history', 'task_reschedule', 'trigger', 'xcom']

-y, --yes

不要提示确认。请谨慎使用!

默认:False

导出存档

从存档表中导出存档数据

airflow db export-archived [-h] [--drop-archives] [--export-format {csv}]
                           --output-path DIRPATH [-t TABLES] [-y]
命名参数
--drop-archives

导出后删除存档表。谨慎使用。

默认:False

--export-format

可选值:csv

用于导出清理数据的文件格式

默认值:“csv”

--output-path

用于导出清理数据的输出目录的路径。此目录必须存在。

-t, --tables

要执行维护的表名称(使用逗号分隔的列表)。选项:['callback_request', 'celery_taskmeta', 'celery_tasksetmeta', 'dag', 'dag_run', 'dataset_event', 'import_error', 'job', 'log', 'session', 'sla_miss', 'task_fail', 'task_instance', 'task_instance_history', 'task_reschedule', 'trigger', 'xcom']

-y, --yes

不要提示确认。请谨慎使用!

默认:False

初始化

未记录

airflow db init [-h] [-v]
命名参数
-v, --verbose

使日志输出更详细

默认:False

迁移

迁移元数据数据库的模式。如果数据库不存在,则创建该数据库。要打印但不执行命令,请使用 --show-sql-only 选项。如果使用 --from-revision--from-version 选项,您还必须使用 --show-sql-only,因为如果实际运行迁移,我们应该仅从当前 Alembic 修订版本进行迁移。

airflow db migrate [-h] [--from-revision FROM_REVISION]
                   [--from-version FROM_VERSION] [-s] [-r TO_REVISION]
                   [-n TO_VERSION] [-m] [-v]
命名参数
--from-revision

(可选)如果生成 sql,可以提供一个 from Alembic 修订版本

--from-version

(可选)如果生成 sql,可以提供一个 from 版本

-s, --show-sql-only

不实际运行迁移;仅打印出用于脱机迁移的 sql 脚本。如果使用 --from-revision--from-version 中的任一选项,则为必填项。

默认:False

-r, --to-revision

(可选)如果提供,则仅运行到并包括此 Alembic 修订版本的迁移。

-n, --to-version

(可选)要升级到的 Airflow 版本。注意:必须提供 --to-revision--to-version

-m, --use-migration-files

使用迁移文件执行迁移

默认:False

-v, --verbose

使日志输出更详细

默认:False

重置

销毁并重建元数据数据库

airflow db reset [-h] [-s] [-m] [-v] [-y]
命名参数
-s, --skip-init

仅删除表;不执行数据库初始化。

默认:False

-m, --use-migration-files

使用迁移文件执行迁移

默认:False

-v, --verbose

使日志输出更详细

默认:False

-y, --yes

不要提示确认。请谨慎使用!

默认:False

外壳

运行外壳以访问数据库

airflow db shell [-h] [-v]
命名参数
-v, --verbose

使日志输出更详细

默认:False

升级

未记录

airflow db upgrade [-h] [--from-revision FROM_REVISION]
                   [--from-version FROM_VERSION] [-s] [-r TO_REVISION]
                   [-n TO_VERSION] [-m] [-v]
命名参数
--from-revision

(可选)如果生成 sql,可以提供一个 from Alembic 修订版本

--from-version

(可选)如果生成 sql,可以提供一个 from 版本

-s, --show-sql-only

不实际运行迁移;仅打印出用于脱机迁移的 sql 脚本。如果使用 --from-revision--from-version 中的任一选项,则为必填项。

默认:False

-r, --to-revision

(可选)如果提供,则仅运行到并包括此 Alembic 修订版本的迁移。

-n, --to-version

(可选)要升级到的 Airflow 版本。注意:必须提供 --to-revision--to-version

-m, --use-migration-files

使用迁移文件执行迁移

默认:False

-v, --verbose

使日志输出更详细

默认:False

信息

显示有关当前 Airflow 和环境的信息

airflow info [-h] [--anonymize] [--file-io] [-o table, json, yaml, plain] [-v]
命名参数
--anonymize

最大限度地减少任何个人身份信息。在与他人共享输出时使用它。

默认:False

--file-io

将输出发送到 file.io 服务并返回链接。

默认:False

-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

内部 API

启动 Airflow 内部 API 实例

airflow internal-api [-h] [-A ACCESS_LOGFILE] [-L ACCESS_LOGFORMAT] [-D] [-d]
                     [-E ERROR_LOGFILE] [-H HOSTNAME] [-l LOG_FILE]
                     [--pid [PID]] [-p PORT] [--ssl-cert SSL_CERT]
                     [--ssl-key SSL_KEY] [--stderr STDERR] [--stdout STDOUT]
                     [-t WORKER_TIMEOUT] [-k {sync,eventlet,gevent,tornado}]
                     [-w WORKERS]
命名参数
-A, --access-logfile

用于存储访问日志的日志文件。使用“ - ”打印到 stdout

-L, --access-logformat

gunicorn 日志的访问日志格式

-D, --daemon

守护进程而不是在前台运行

默认:False

-d, --debug

在调试模式下使用 Flask 附带的服务器

默认:False

-E, --error-logfile

用于存储错误日志的日志文件。使用“ - ”打印到 stderr

-H, --hostname

设置运行 Web 服务器的主机名

默认值:“0.0.0.0”

-l, --log-file

日志文件的位置

--pid

PID 文件位置

-p, --port

运行服务器的端口

默认值:9080

--ssl-cert

Web 服务器的 SSL 证书路径

默认值:“”

--ssl-key

用于 SSL 证书的密钥的路径

默认值:“”

--stderr

将 stderr 重定向到此文件

--stdout

将 stdout 重定向到此文件

-t, --worker-timeout

等待内部 API 工作程序的超时时间

默认值:120

-k, --workerclass

可选值:sync, eventlet, gevent, tornado

用于 Gunicorn 的工作程序类

默认值:“sync”

-w, --workers

运行内部 API 的工作程序数

默认值:4

作业

管理作业

airflow jobs [-h] COMMAND ...
位置参数
命令

可选值:check

子命令
检查

检查作业是否仍在运行

airflow jobs check [-h] [--allow-multiple] [--hostname HOSTNAME]
                   [--job-type {BackfillJob,LocalTaskJob,SchedulerJob,TriggererJob,DagProcessorJob}]
                   [--limit LIMIT] [--local] [-v]
命名参数
--allow-multiple

如果传递此参数,即使找到多个匹配的活动作业,此命令也会成功。

默认:False

--hostname

要检查的作业的主机名。

--job-type

可选值:BackfillJob, LocalTaskJob, SchedulerJob, TriggererJob, DagProcessorJob

要检查的作业类型。

--limit

将检查的最近作业的数量。要禁用限制,请设置为 0。

默认值: 1

--local

如果传递此参数,此命令将仅显示来自本地主机的作业(主机名与 hostname_callable 返回的值匹配的作业)。

默认:False

-v, --verbose

使日志输出更详细

默认:False

示例:要检查本地调度程序是否仍在正常工作,请运行

$ airflow jobs check --job-type SchedulerJob --local”

要在使用高可用性时检查是否有任何调度程序在运行,请运行

$ airflow jobs check --job-type SchedulerJob --allow-multiple --limit 100

Kerberos

启动 Kerberos 票证更新器

airflow kerberos [-h] [-D] [-k [KEYTAB]] [-l LOG_FILE] [-o] [--pid [PID]]
                 [--stderr STDERR] [--stdout STDOUT] [-v]
                 [principal]
位置参数
principal

Kerberos 主体

命名参数
-D, --daemon

守护进程而不是在前台运行

默认:False

-k, --keytab

keytab

默认值:“airflow.keytab”

-l, --log-file

日志文件的位置

-o, --one-time

运行 Airflow Kerberos 一次而不是永远运行

默认:False

--pid

PID 文件位置

--stderr

将 stderr 重定向到此文件

--stdout

将 stdout 重定向到此文件

-v, --verbose

使日志输出更详细

默认:False

插件

转储有关已加载插件的信息

airflow plugins [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

管理池

airflow pools [-h] COMMAND ...
位置参数
命令

可选项: delete, export, get, import, list, set

子命令
delete

删除池

airflow pools delete [-h] [-o table, json, yaml, plain] [-v] NAME
位置参数
NAME

池名称

命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

export

导出所有池

airflow pools export [-h] [-v] FILEPATH
位置参数
FILEPATH

将所有池导出到 JSON 文件

命名参数
-v, --verbose

使日志输出更详细

默认:False

get

获取池大小

airflow pools get [-h] [-o table, json, yaml, plain] [-v] NAME
位置参数
NAME

池名称

命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

import

导入池

airflow pools import [-h] [-v] FILEPATH
位置参数
FILEPATH

从 JSON 文件导入池。示例格式

{
    "pool_1": {"slots": 5, "description": "", "include_deferred": true},
    "pool_2": {"slots": 10, "description": "test", "include_deferred": false}
}
命名参数
-v, --verbose

使日志输出更详细

默认:False

list

列出池

airflow pools list [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

set

配置池

airflow pools set [-h] [--include-deferred] [-o table, json, yaml, plain] [-v]
                  NAME slots description
位置参数
NAME

池名称

slots

池槽位

description

池描述

命名参数
--include-deferred

在池的计算中包含延迟的任务

默认:False

-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

提供者

显示提供者

airflow providers [-h] COMMAND ...
位置参数
命令

可选项: auth, auth-managers, behaviours, configs, executors, get, hooks, lazy-loaded, links, list, logging, notifications, secrets, triggers, widgets

子命令
auth

获取有关提供的 API 身份验证后端的信息

airflow providers auth [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

auth-managers

获取有关提供的身份验证管理器信息

airflow providers auth-managers [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

behaviours

获取有关具有自定义行为的注册连接类型的信息

airflow providers behaviours [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

configs

获取有关提供程序配置的信息

airflow providers configs [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

executors

获取有关提供的执行器信息

airflow providers executors [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

get

获取有关提供程序的详细信息

airflow providers get [-h] [--color {on,off,auto}] [-f]
                      [-o table, json, yaml, plain] [-v]
                      provider_name
位置参数
provider_name

提供程序名称,获取提供程序信息时必需

命名参数
--color

可能的选择:on、off、auto

是否发出彩色输出(默认值:自动)

默认值:“auto”

-f, --full

有关提供程序的完整信息,包括文档信息。

默认:False

-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

hooks

列出注册的提供程序钩子

airflow providers hooks [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

lazy-loaded

检查是否延迟加载了提供程序配置

airflow providers lazy-loaded [-h] [-v]
命名参数
-v, --verbose

使日志输出更详细

默认:False

list

列出已安装的提供程序

airflow providers list [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

logging

获取有关提供的任务日志处理程序的信息

airflow providers logging [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

notifications

获取有关提供的通知的信息

airflow providers notifications [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

secrets

获取有关提供的密钥后端的信息

airflow providers secrets [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

triggers

列出注册的提供程序触发器

airflow providers triggers [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

widgets

获取有关注册的连接表单小部件的信息

airflow providers widgets [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

角色

管理角色

airflow roles [-h] COMMAND ...
位置参数
命令

可选项: add-perms, create, del-perms, delete, export, import, list

子命令
add-perms

添加角色权限

airflow roles add-perms [-h] -a [ACTION [ACTION ...]] -r
                        [RESOURCE [RESOURCE ...]] [-v]
                        [role [role ...]]
位置参数
role

角色的名称

命名参数
-a, --action

权限的操作

-r, --resource

权限的名称

-v, --verbose

使日志输出更详细

默认:False

create

创建角色

airflow roles create [-h] [-v] [role [role ...]]
位置参数
role

角色的名称

命名参数
-v, --verbose

使日志输出更详细

默认:False

del-perms

删除角色权限

airflow roles del-perms [-h] [-a [ACTION [ACTION ...]]] -r
                        [RESOURCE [RESOURCE ...]] [-v]
                        [role [role ...]]
位置参数
role

角色的名称

命名参数
-a, --action

权限的操作

-r, --resource

权限的名称

-v, --verbose

使日志输出更详细

默认:False

delete

删除角色

airflow roles delete [-h] [-v] [role [role ...]]
位置参数
role

角色的名称

命名参数
-v, --verbose

使日志输出更详细

默认:False

export

将角色(不包括权限)从数据库导出到 JSON 文件

airflow roles export [-h] [-p] [-v] file
位置参数
file

将所有角色导出到 JSON 文件

命名参数
-p, --pretty

通过对角色名称进行排序并缩进 4 个空格来格式化输出 JSON 文件

默认:False

-v, --verbose

使日志输出更详细

默认:False

import

将角色(不包括权限)从 JSON 文件导入到数据库

airflow roles import [-h] [-v] file
位置参数
file

从 JSON 文件导入角色

命名参数
-v, --verbose

使日志输出更详细

默认:False

list

列出角色

airflow roles list [-h] [-o table, json, yaml, plain] [-p] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-p, --permission

显示角色权限

默认:False

-v, --verbose

使日志输出更详细

默认:False

rotate-fernet-key

轮换所有加密的连接凭据和变量; 请参阅 https://airflow.apache.org/docs/apache-airflow/stable/howto/secure-connections.html#rotating-encryption-keys

airflow rotate-fernet-key [-h]

scheduler

启动调度器实例

airflow scheduler [-h] [-D] [-p] [-l LOG_FILE] [-n NUM_RUNS] [--pid [PID]]
                  [-s] [--stderr STDERR] [--stdout STDOUT] [-S SUBDIR] [-v]
命名参数
-D, --daemon

守护进程而不是在前台运行

默认:False

-p, --do-pickle

尝试 pickle DAG 对象以发送到工作进程,而不是让工作进程运行其代码版本

默认:False

-l, --log-file

日志文件的位置

-n, --num-runs

设置退出前要执行的运行次数

默认值:-1

--pid

PID 文件位置

-s, --skip-serve-logs

不要与工作进程一起启动服务日志进程

默认:False

--stderr

将 stderr 重定向到此文件

--stdout

将 stdout 重定向到此文件

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

信号

  • SIGUSR2: 转储执行器正在跟踪的任务状态的快照。

    示例

    pkill -f -USR2 “airflow scheduler”

standalone

运行 Airflow 的一体化副本

airflow standalone [-h]

sync-perm

更新现有角色和可选 DAG 的权限

airflow sync-perm [-h] [--include-dags] [-v]
命名参数
--include-dags

如果传递此参数,则还将同步 DAG 特定权限。

默认:False

-v, --verbose

使日志输出更详细

默认:False

tasks

管理任务

airflow tasks [-h] COMMAND ...
位置参数
命令

可选项: clear, failed-deps, list, render, run, state, states-for-dag-run, test

子命令
clear

清除一组任务实例,就好像它们从未运行过一样

airflow tasks clear [-h] [-R] [-d] [-e END_DATE] [-X] [-x] [-f] [-r]
                    [-s START_DATE] [-S SUBDIR] [-t TASK_REGEX] [-u] [-v] [-y]
                    dag_id
位置参数
dag_id

DAG 的 ID

命名参数
-R, --dag-regex

将 dag_id 作为正则表达式搜索,而不是精确字符串

默认:False

-d, --downstream

包括下游任务

默认:False

-e, --end-date

覆盖结束日期 YYYY-MM-DD

-X, --exclude-parentdag

如果清除的任务是 SubDAG 的一部分,则排除 ParentDAGS

默认:False

-x, --exclude-subdags

排除子 DAG

默认:False

-f, --only-failed

仅失败的作业

默认:False

-r, --only-running

仅运行中的作业

默认:False

-s, --start-date

覆盖开始日期 YYYY-MM-DD

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-t, --task-regex

过滤特定 task_ids 的正则表达式(可选)

-u, --upstream

包括上游任务

默认:False

-v, --verbose

使日志输出更详细

默认:False

-y, --yes

不要提示确认。请谨慎使用!

默认:False

failed-deps

从调度器的角度返回任务实例未满足的依赖项。换句话说,为什么任务实例没有被调度器调度然后排队,然后被执行器运行。

airflow tasks failed-deps [-h] [--map-index MAP_INDEX] [-S SUBDIR] [-v]
                          dag_id task_id execution_date_or_run_id
位置参数
dag_id

DAG 的 ID

task_id

任务的 ID

execution_date_or_run_id

DAG 的 execution_date 或 DAGRun 的 run_id

命名参数
--map-index

映射的任务索引

默认值:-1

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

list

列出 DAG 中的任务

airflow tasks list [-h] [-S SUBDIR] [-t] [-v] dag_id
位置参数
dag_id

DAG 的 ID

命名参数
-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-t, --tree

已弃用 - 请改用 dags show。以树形结构显示任务。请注意,对于某些 DAG,生成树可能很慢,并且输出非常大。

默认:False

-v, --verbose

使日志输出更详细

默认:False

render

渲染任务实例的模板

airflow tasks render [-h] [--map-index MAP_INDEX] [-S SUBDIR] [-v]
                     dag_id task_id execution_date_or_run_id
位置参数
dag_id

DAG 的 ID

task_id

任务的 ID

execution_date_or_run_id

DAG 的 execution_date 或 DAGRun 的 run_id

命名参数
--map-index

映射的任务索引

默认值:-1

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

run

运行单个任务实例

airflow tasks run [-h] [--cfg-path CFG_PATH] [-d {check,wait,ignore}] [-f]
                  [-A] [-i] [-I] [-N] [-l] [--map-index MAP_INDEX] [-m]
                  [-p PICKLE] [--pool POOL] [--read-from-db] [--ship-dag]
                  [-S SUBDIR] [-v]
                  dag_id task_id execution_date_or_run_id
位置参数
dag_id

DAG 的 ID

task_id

任务的 ID

execution_date_or_run_id

DAG 的 execution_date 或 DAGRun 的 run_id

命名参数
--cfg-path

要使用的配置文件路径,而不是 airflow.cfg

-d, --depends-on-past

可选值:check, wait, ignore

确定 Airflow 应如何处理过去的依赖项。默认操作是 check,Airflow 将在运行具有 depends_on_past=True 的任务之前检查过去的依赖项是否满足。如果提供了 ignore,则将忽略过去的依赖项。如果提供了 wait 并且 depends_on_past=True,Airflow 将等待过去的依赖项满足后才运行或跳过该任务

默认值:“check”

-f, --force

忽略之前的任务实例状态,无论任务是否已成功/失败,都重新运行

默认:False

-A, --ignore-all-dependencies

忽略所有非关键依赖项,包括 ignore_ti_state 和 ignore_task_deps

默认:False

-i, --ignore-dependencies

忽略特定于任务的依赖项,例如上游、depends_on_past 和重试延迟依赖项

默认:False

-I, --ignore-depends-on-past

已弃用 – 请改用 --depends-on-past ignore。忽略 depends_on_past 依赖项(但保留上游依赖项)

默认:False

-N, --interactive

不捕获标准输出和错误流(对交互式调试很有用)

默认:False

-l, --local

使用 LocalExecutor 运行任务

默认:False

--map-index

映射的任务索引

默认值:-1

-m, --mark-success

将作业标记为成功,而不运行它们

默认:False

-p, --pickle

整个 DAG 的序列化 pickle 对象(内部使用)

--pool

要使用的资源池

--read-from-db

从数据库而不是 DAG 文件读取 DAG

默认:False

--ship-dag

将 DAG 进行 Pickle (序列化) 并将其发送到 worker

默认:False

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

state

获取任务实例的状态

airflow tasks state [-h] [--map-index MAP_INDEX] [-S SUBDIR] [-v]
                    dag_id task_id execution_date_or_run_id
位置参数
dag_id

DAG 的 ID

task_id

任务的 ID

execution_date_or_run_id

DAG 的 execution_date 或 DAGRun 的 run_id

命名参数
--map-index

映射的任务索引

默认值:-1

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-v, --verbose

使日志输出更详细

默认:False

states-for-dag-run

获取 DAG 运行中所有任务实例的状态

airflow tasks states-for-dag-run [-h] [-o table, json, yaml, plain] [-v]
                                 dag_id execution_date_or_run_id
位置参数
dag_id

DAG 的 ID

execution_date_or_run_id

DAG 的 execution_date 或 DAGRun 的 run_id

命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

test

测试任务实例。这将运行任务,而无需检查依赖项或将状态记录在数据库中

airflow tasks test [-h] [-n] [--env-vars ENV_VARS] [--map-index MAP_INDEX]
                   [-m] [-S SUBDIR] [-t TASK_PARAMS] [-v]
                   dag_id task_id [execution_date_or_run_id]
位置参数
dag_id

DAG 的 ID

task_id

任务的 ID

execution_date_or_run_id

DAG 的 execution_date 或 DAGRun 的 run_id(可选)

命名参数
-n, --dry-run

对每个任务执行空运行。仅渲染每个任务的模板字段,不做其他操作

默认:False

--env-vars

在解析时和运行时为 JSON 字典中提供的每个条目设置环境变量

--map-index

映射的任务索引

默认值:-1

-m, --post-mortem

在未捕获的异常时打开调试器

默认:False

-S, --subdir

查找 DAG 的文件位置或目录。默认为 ‘[AIRFLOW_HOME]/dags’,其中 [AIRFLOW_HOME] 是你在 ‘airflow.cfg’ 中设置的 ‘AIRFLOW_HOME’ 配置值

默认值: “[AIRFLOW_HOME]/dags”

-t, --task-params

将 JSON 参数字典发送到任务

-v, --verbose

使日志输出更详细

默认:False

triggerer

启动一个触发器实例

airflow triggerer [-h] [--capacity CAPACITY] [-D] [-l LOG_FILE] [--pid [PID]]
                  [-s] [--stderr STDERR] [--stdout STDOUT] [-v]
命名参数
--capacity

触发器一次将运行的最大触发器数量。

-D, --daemon

守护进程而不是在前台运行

默认:False

-l, --log-file

日志文件的位置

--pid

PID 文件位置

-s, --skip-serve-logs

不要与工作进程一起启动服务日志进程

默认:False

--stderr

将 stderr 重定向到此文件

--stdout

将 stdout 重定向到此文件

-v, --verbose

使日志输出更详细

默认:False

users

管理用户

airflow users [-h] COMMAND ...
位置参数
命令

可选值:add-role, create, delete, export, import, list, remove-role, reset-password

子命令
add-role

向用户添加角色

airflow users add-role [-h] [-e EMAIL] -r ROLE [-u USERNAME] [-v]
命名参数
-e, --email

用户的电子邮件

-r, --role

用户的角色。现有角色包括 Admin、User、Op、Viewer 和 Public

-u, --username

用户的用户名

-v, --verbose

使日志输出更详细

默认:False

create

创建用户

airflow users create [-h] -e EMAIL -f FIRSTNAME -l LASTNAME [-p PASSWORD] -r
                     ROLE [--use-random-password] -u USERNAME [-v]
命名参数
-e, --email

用户的电子邮件

-f, --firstname

用户的名字

-l, --lastname

用户的姓氏

-p, --password

用户的密码,在不使用 –use-random-password 创建用户时是必需的

-r, --role

用户的角色。现有角色包括 Admin、User、Op、Viewer 和 Public

--use-random-password

不提示输入密码。改用随机字符串。在不使用 –password 创建用户时是必需的

默认:False

-u, --username

用户的用户名

-v, --verbose

使日志输出更详细

默认:False

示例:要创建具有“Admin”角色且用户名等于“admin”的用户,请运行

$ airflow users create

--username admin --firstname FIRST_NAME --lastname LAST_NAME --role Admin --email admin@example.org

delete

删除用户

airflow users delete [-h] [-e EMAIL] [-u USERNAME] [-v]
命名参数
-e, --email

用户的电子邮件

-u, --username

用户的用户名

-v, --verbose

使日志输出更详细

默认:False

export

导出所有用户

airflow users export [-h] [-v] FILEPATH
位置参数
FILEPATH

将所有用户导出到 JSON 文件

命名参数
-v, --verbose

使日志输出更详细

默认:False

import

导入用户

airflow users import [-h] [-v] FILEPATH
位置参数
FILEPATH

从 JSON 文件导入用户。示例格式

[
    {
        "email": "[email protected]",
        "firstname": "Jon",
        "lastname": "Doe",
        "roles": ["Public"],
        "username": "jondoe"
    }
]
命名参数
-v, --verbose

使日志输出更详细

默认:False

list

列出用户

airflow users list [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

remove-role

从用户删除角色

airflow users remove-role [-h] [-e EMAIL] -r ROLE [-u USERNAME] [-v]
命名参数
-e, --email

用户的电子邮件

-r, --role

用户的角色。现有角色包括 Admin、User、Op、Viewer 和 Public

-u, --username

用户的用户名

-v, --verbose

使日志输出更详细

默认:False

reset-password

重置用户的密码

airflow users reset-password [-h] [-e EMAIL] [-p PASSWORD]
                             [--use-random-password] [-u USERNAME] [-v]
命名参数
-e, --email

用户的电子邮件

-p, --password

用户的密码,在不使用 –use-random-password 创建用户时是必需的

--use-random-password

不提示输入密码。改用随机字符串。在不使用 –password 创建用户时是必需的

默认:False

-u, --username

用户的用户名

-v, --verbose

使日志输出更详细

默认:False

示例:要重置用户名等于“admin”的用户,请运行

$ airflow users reset-password

--username admin

variables

管理变量

airflow variables [-h] COMMAND ...
位置参数
命令

可选项: delete, export, get, import, list, set

子命令
delete

删除变量

airflow variables delete [-h] [-v] key
位置参数
key

变量键

命名参数
-v, --verbose

使日志输出更详细

默认:False

export

可以使用以下命令在 STDOUT 中导出所有变量:airflow variables export -

airflow variables export [-h] [-v] file
位置参数
file

将所有变量导出到 JSON 文件

命名参数
-v, --verbose

使日志输出更详细

默认:False

get

获取变量

airflow variables get [-h] [-d VAL] [-j] [-v] key
位置参数
key

变量键

命名参数
-d, --default

如果变量不存在,则返回默认值

-j, --json

反序列化 JSON 变量

默认:False

-v, --verbose

使日志输出更详细

默认:False

import

导入变量

airflow variables import [-h] [-a {overwrite,fail,skip}] [-v] file
位置参数
file

从 JSON 文件导入变量

命名参数
-a, --action-on-existing-key

可选值:overwrite, fail, skip

如果我们遇到已存在的变量键时要采取的操作。

默认值:“overwrite”

-v, --verbose

使日志输出更详细

默认:False

list

列出变量

airflow variables list [-h] [-o table, json, yaml, plain] [-v]
命名参数
-o, --output

可能的选择:table、json、yaml、plain

输出格式。允许的值:json、yaml、plain、table(默认值:table)

默认值:“table”

-v, --verbose

使日志输出更详细

默认:False

set

设置变量

airflow variables set [-h] [--description DESCRIPTION] [-j] [-v] key VALUE
位置参数
key

变量键

VALUE

变量值

命名参数
--description

变量描述,设置变量时可选

-j, --json

序列化 JSON 变量

默认:False

-v, --verbose

使日志输出更详细

默认:False

version

显示版本

airflow version [-h]

webserver

启动一个 Airflow Web 服务器实例

airflow webserver [-h] [-A ACCESS_LOGFILE] [-L ACCESS_LOGFORMAT] [-D] [-d]
                  [-E ERROR_LOGFILE] [-H HOSTNAME] [-l LOG_FILE] [--pid [PID]]
                  [-p PORT] [--ssl-cert SSL_CERT] [--ssl-key SSL_KEY]
                  [--stderr STDERR] [--stdout STDOUT] [-t WORKER_TIMEOUT]
                  [-k {sync,eventlet,gevent,tornado}] [-w WORKERS]
命名参数
-A, --access-logfile

用于存储 Web 服务器访问日志的日志文件。使用“-”打印到标准输出

默认值:“-”

-L, --access-logformat

gunicorn 日志的访问日志格式

默认值:“”

-D, --daemon

守护进程而不是在前台运行

默认:False

-d, --debug

在调试模式下使用 Flask 附带的服务器

默认:False

-E, --error-logfile

用于存储 Web 服务器错误日志的日志文件。使用“-”打印到标准错误

默认值:“-”

-H, --hostname

设置运行 Web 服务器的主机名

默认值:“0.0.0.0”

-l, --log-file

日志文件的位置

--pid

PID 文件位置

-p, --port

运行服务器的端口

默认值:8080

--ssl-cert

Web 服务器的 SSL 证书路径

默认值:“”

--ssl-key

用于 SSL 证书的密钥的路径

默认值:“”

--stderr

将 stderr 重定向到此文件

--stdout

将 stdout 重定向到此文件

-t, --worker-timeout

等待 Web 服务器工作进程的超时时间

默认值:120

-k, --workerclass

可选值:sync, eventlet, gevent, tornado

用于 Gunicorn 的工作程序类

默认值:“sync”

-w, --workers

运行 Web 服务器的工作进程数

默认值:4

环境变量

AIRFLOW__{SECTION}__{KEY}

设置 Airflow 配置中的选项。这优先于 airflow.cfg 文件中的值。

{SECTION} 占位符替换为任何节的名称,并将 {KEY} 占位符替换为该指定节中的任何键。

例如,如果您想设置 [core] 节中的 dags_folder 选项,则应设置 AIRFLOW__CORE__DAGS_FOLDER 环境变量。

有关更多信息,请参阅:设置配置选项

AIRFLOW__{SECTION}__{KEY}_CMD

对于 Airflow 中某个节中的任何特定键,执行该键指向的命令。该命令的结果将用作 AIRFLOW__{SECTION}__{KEY} 环境变量的值。

此功能仅受以下配置选项支持

  • [database] 节中的 sql_alchemy_conn

  • [core] 节中的 fernet_key

  • [celery] 节中的 broker_url

  • [celery] 节中的 flower_basic_auth

  • [celery] 节中的 result_backend

  • [atlas] 节中的 password

  • [smtp] 节中的 smtp_password

  • [webserver] 节中的 secret_key

AIRFLOW__{SECTION}__{KEY}_SECRET

对于 Airflow 中某个节中的任何特定键,从配置的 secrets 后端检索密钥。返回的值将用作 AIRFLOW__{SECTION}__{KEY} 环境变量的值。

有关可用 secrets 后端的更多信息,请参阅 Secrets 后端

这种形式的环境变量配置仅支持与 AIRFLOW__{SECTION}__{KEY}_CMD 相同的配置选项子集。

AIRFLOW_CONFIG

Airflow 配置文件的路径。

AIRFLOW_CONN_{CONN_ID}

使用 URI 值定义一个名为 {CONN_ID} 的新连接。

例如,如果您想创建一个名为 PROXY_POSTGRES_TCP 的连接,您可以创建一个键 AIRFLOW_CONN_PROXY_POSTGRES_TCP,并将连接 URI 作为该键的值。

有关更多信息,请参阅:在环境变量中存储连接

AIRFLOW_HOME

Airflow 内容的根目录。这是 Airflow 资产(如 DAG 和日志)的默认父目录。

AIRFLOW_VAR_{KEY}

定义一个 Airflow 变量。将 {KEY} 占位符替换为变量名称。

有关更多信息,请参阅:管理变量

此条目是否有帮助?