配置参考

此页面包含 apache-airflow-providers-common-io 提供程序的所有可用 Airflow 配置列表,这些配置可以在 airflow.cfg 文件中设置,也可以使用环境变量设置。

注意

从 Airflow 2.7.0 开始,嵌入在提供程序包中的配置开始被使用。以前,配置是在 Airflow 核心包中描述和配置的 - 因此,如果您使用的是 2.7.0 以下的 Airflow,请查看 Airflow 文档以获取 Airflow 核心可用的配置选项列表。

注意

有关更多信息,请参阅 设置配置选项

部分

[common.io]

通用 IO 配置部分

xcom_objectstorage_compression

1.3.0 版中的新功能。

在对象存储中存储 XCom 时使用的压缩算法。支持的算法有:snappy、zip、gzip、bz2 和 lzma。如果未指定,则不使用压缩。请注意,压缩算法必须在 Python 安装中可用(例如,snappy 的 python-snappy)。Zip、gz、bz2 默认可用。

类型

字符串

默认值

''

环境变量

AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_COMPRESSION

示例

gz

xcom_objectstorage_path

1.3.0 版中的新功能。

对象存储上可以存储 XCom 的位置的路径,采用 URL 格式。

类型

字符串

默认值

''

环境变量

AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_PATH

示例

s3://conn_id@bucket/path

xcom_objectstorage_threshold

1.3.0 版中的新功能。

在对象存储中存储 XCom 的阈值(以字节为单位)。-1 表示始终存储在数据库中。0 表示始终存储在对象存储中。任何正数表示如果值的大小大于阈值,则将其存储在对象存储中。

类型

整数

默认值

-1

环境变量

AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_THRESHOLD

示例

1000000

此条目有帮助吗?