配置参考

此页面包含 apache-airflow-providers-opensearch 提供程序的所有可用 Airflow 配置的列表,这些配置可以在 airflow.cfg 文件中设置或使用环境变量设置。

注意

从 Airflow 2.7.0 开始,提供程序包中嵌入的配置开始被使用。 以前,配置是在 Airflow 核心包中描述和配置的 - 因此,如果您使用的是低于 2.7.0 的 Airflow,请查看 Airflow 文档,了解 Airflow 核心中可用的配置选项列表。

注意

有关更多信息,请参阅 设置配置选项

[opensearch]

end_of_log_mark

1.5.0 版本新增。

用于标记任务日志流的结尾

类型

字符串

默认

end_of_log

环境变量

AIRFLOW__OPENSEARCH__END_OF_LOG_MARK

host

1.5.0 版本新增。

Opensearch 主机

类型

字符串

默认

''

环境变量

AIRFLOW__OPENSEARCH__HOST

host_field

1.5.0 版本新增。

存储主机名的字段(通常为 hosthost.name

类型

字符串

默认

host

环境变量

AIRFLOW__OPENSEARCH__HOST_FIELD

index_patterns

1.5.0 版本新增。

用于搜索日志时要使用的索引模式的逗号分隔列表(默认值:_all)。index_patterns_callable 优先于此。

类型

字符串

默认

_all

环境变量

AIRFLOW__OPENSEARCH__INDEX_PATTERNS

示例

something-*

index_patterns_callable

1.5.0 版本新增。

表示 Python 可调用路径的完整路径的字符串,该路径接受 TI 对象并返回索引模式的逗号分隔列表。 这将优先于 index_patterns。

类型

字符串

默认

''

环境变量

AIRFLOW__OPENSEARCH__INDEX_PATTERNS_CALLABLE

示例

module.callable

json_fields

1.5.0 版本新增。

如果启用,还要附加到 json 输出的日志字段

类型

字符串

默认

asctime, filename, lineno, levelname, message

环境变量

AIRFLOW__OPENSEARCH__JSON_FIELDS

json_format

1.5.0 版本新增。

不要使用默认的日志格式化程序,而是将日志行写为 JSON

类型

字符串

默认

False

环境变量

AIRFLOW__OPENSEARCH__JSON_FORMAT

log_id_template

1.5.0 版本新增。

log_id 的格式,用于查询给定任务的日志

类型

字符串

默认

{dag_id}-{task_id}-{run_id}-{map_index}-{try_number}

环境变量

AIRFLOW__OPENSEARCH__LOG_ID_TEMPLATE

offset_field

1.5.0 版本新增。

存储偏移量的字段(通常为 offsetlog.offset

类型

字符串

默认

offset

环境变量

AIRFLOW__OPENSEARCH__OFFSET_FIELD

password

1.5.0 版本新增。

用于连接到 Opensearch 的密码

类型

字符串

默认

''

环境变量

AIRFLOW__OPENSEARCH__PASSWORD

AIRFLOW__OPENSEARCH__PASSWORD_CMD

AIRFLOW__OPENSEARCH__PASSWORD_SECRET

port

1.5.0 版本新增。

Opensearch 主机的端口号

类型

整数

默认

''

环境变量

AIRFLOW__OPENSEARCH__PORT

username

1.5.0 版本新增。

用于连接到 Opensearch 的用户名

类型

字符串

默认

''

环境变量

AIRFLOW__OPENSEARCH__USERNAME

AIRFLOW__OPENSEARCH__USERNAME_CMD

AIRFLOW__OPENSEARCH__USERNAME_SECRET

write_stdout

1.5.0 版本新增。

将任务日志写入工作进程的 stdout,而不是默认文件

类型

字符串

默认

False

环境变量

AIRFLOW__OPENSEARCH__WRITE_STDOUT

[opensearch_configs]

ca_certs

1.5.0 版本新增。

类型

字符串

默认

''

环境变量

AIRFLOW__OPENSEARCH_CONFIGS__CA_CERTS

http_compress

1.5.0 版本新增。

类型

字符串

默认

False

环境变量

AIRFLOW__OPENSEARCH_CONFIGS__HTTP_COMPRESS

ssl_assert_hostname

1.5.0 版本新增。

类型

字符串

默认

False

环境变量

AIRFLOW__OPENSEARCH_CONFIGS__SSL_ASSERT_HOSTNAME

ssl_show_warn

1.5.0 版本新增。

类型

字符串

默认

False

环境变量

AIRFLOW__OPENSEARCH_CONFIGS__SSL_SHOW_WARN

use_ssl

1.5.0 版本新增。

类型

字符串

默认

False

环境变量

AIRFLOW__OPENSEARCH_CONFIGS__USE_SSL

verify_certs

1.5.0 版本新增。

类型

字符串

默认

False

环境变量

AIRFLOW__OPENSEARCH_CONFIGS__VERIFY_CERTS

此条目是否有帮助?