配置参考¶
此页面包含 apache-airflow-providers-opensearch
提供程序的所有可用 Airflow 配置的列表,这些配置可以在 airflow.cfg
文件中设置或使用环境变量设置。
注意
从 Airflow 2.7.0 开始,提供程序包中嵌入的配置开始被使用。 以前,配置是在 Airflow 核心包中描述和配置的 - 因此,如果您使用的是低于 2.7.0 的 Airflow,请查看 Airflow 文档,了解 Airflow 核心中可用的配置选项列表。
注意
有关更多信息,请参阅 设置配置选项。
[opensearch]¶
end_of_log_mark¶
1.5.0 版本新增。
用于标记任务日志流的结尾
- 类型
字符串
- 默认
end_of_log
- 环境变量
AIRFLOW__OPENSEARCH__END_OF_LOG_MARK
host_field¶
1.5.0 版本新增。
存储主机名的字段(通常为 host 或 host.name)
- 类型
字符串
- 默认
host
- 环境变量
AIRFLOW__OPENSEARCH__HOST_FIELD
index_patterns¶
1.5.0 版本新增。
用于搜索日志时要使用的索引模式的逗号分隔列表(默认值:_all)。index_patterns_callable 优先于此。
- 类型
字符串
- 默认
_all
- 环境变量
AIRFLOW__OPENSEARCH__INDEX_PATTERNS
- 示例
something-*
index_patterns_callable¶
1.5.0 版本新增。
表示 Python 可调用路径的完整路径的字符串,该路径接受 TI 对象并返回索引模式的逗号分隔列表。 这将优先于 index_patterns。
- 类型
字符串
- 默认
''
- 环境变量
AIRFLOW__OPENSEARCH__INDEX_PATTERNS_CALLABLE
- 示例
module.callable
json_fields¶
1.5.0 版本新增。
如果启用,还要附加到 json 输出的日志字段
- 类型
字符串
- 默认
asctime, filename, lineno, levelname, message
- 环境变量
AIRFLOW__OPENSEARCH__JSON_FIELDS
json_format¶
1.5.0 版本新增。
不要使用默认的日志格式化程序,而是将日志行写为 JSON
- 类型
字符串
- 默认
False
- 环境变量
AIRFLOW__OPENSEARCH__JSON_FORMAT
log_id_template¶
1.5.0 版本新增。
log_id 的格式,用于查询给定任务的日志
- 类型
字符串
- 默认
{dag_id}-{task_id}-{run_id}-{map_index}-{try_number}
- 环境变量
AIRFLOW__OPENSEARCH__LOG_ID_TEMPLATE
offset_field¶
1.5.0 版本新增。
存储偏移量的字段(通常为 offset 或 log.offset)
- 类型
字符串
- 默认
offset
- 环境变量
AIRFLOW__OPENSEARCH__OFFSET_FIELD
password¶
1.5.0 版本新增。
用于连接到 Opensearch 的密码
- 类型
字符串
- 默认
''
- 环境变量
AIRFLOW__OPENSEARCH__PASSWORD
AIRFLOW__OPENSEARCH__PASSWORD_CMD
AIRFLOW__OPENSEARCH__PASSWORD_SECRET
username¶
1.5.0 版本新增。
用于连接到 Opensearch 的用户名
- 类型
字符串
- 默认
''
- 环境变量
AIRFLOW__OPENSEARCH__USERNAME
AIRFLOW__OPENSEARCH__USERNAME_CMD
AIRFLOW__OPENSEARCH__USERNAME_SECRET
write_stdout¶
1.5.0 版本新增。
将任务日志写入工作进程的 stdout,而不是默认文件
- 类型
字符串
- 默认
False
- 环境变量
AIRFLOW__OPENSEARCH__WRITE_STDOUT
[opensearch_configs]¶
ssl_assert_hostname¶
1.5.0 版本新增。
- 类型
字符串
- 默认
False
- 环境变量
AIRFLOW__OPENSEARCH_CONFIGS__SSL_ASSERT_HOSTNAME