配置参考¶
此页面包含 apache-airflow-providers-common-io
提供程序的所有可用 Airflow 配置列表,这些配置可以在 airflow.cfg
文件中设置,也可以使用环境变量设置。
注意
从 Airflow 2.7.0 开始,嵌入在提供程序包中的配置开始被使用。以前,配置是在 Airflow 核心包中描述和配置的 - 因此,如果您使用的是 2.7.0 以下的 Airflow,请查看 Airflow 文档以获取 Airflow 核心可用的配置选项列表。
注意
有关更多信息,请参阅 设置配置选项。
部分
[common.io]¶
通用 IO 配置部分
xcom_objectstorage_compression¶
1.3.0 版中的新功能。
在对象存储中存储 XCom 时使用的压缩算法。支持的算法有:snappy、zip、gzip、bz2 和 lzma。如果未指定,则不使用压缩。请注意,压缩算法必须在 Python 安装中可用(例如,snappy 的 python-snappy)。Zip、gz、bz2 默认可用。
- 类型
字符串
- 默认值
''
- 环境变量
AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_COMPRESSION
- 示例
gz
xcom_objectstorage_path¶
1.3.0 版中的新功能。
对象存储上可以存储 XCom 的位置的路径,采用 URL 格式。
- 类型
字符串
- 默认值
''
- 环境变量
AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_PATH
- 示例
s3://conn_id@bucket/path
xcom_objectstorage_threshold¶
1.3.0 版中的新功能。
在对象存储中存储 XCom 的阈值(以字节为单位)。-1 表示始终存储在数据库中。0 表示始终存储在对象存储中。任何正数表示如果值的大小大于阈值,则将其存储在对象存储中。
- 类型
整数
- 默认值
-1
- 环境变量
AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_THRESHOLD
- 示例
1000000