airflow.providers.amazon.aws.transfers.ftp_to_s3¶
模块内容¶
类¶
将一个或多个文件从 FTP 服务器传输到 S3。 |
- class airflow.providers.amazon.aws.transfers.ftp_to_s3.FTPToS3Operator(*, ftp_path, s3_bucket, s3_key, ftp_filenames=None, s3_filenames=None, ftp_conn_id='ftp_default', aws_conn_id='aws_default', replace=False, encrypt=False, gzip=False, acl_policy=None, **kwargs)[源代码]¶
基类:
airflow.models.BaseOperator将一个或多个文件从 FTP 服务器传输到 S3。
另请参阅
有关如何使用此操作符的更多信息，请查看指南：FTP 到 Amazon S3 传输操作符
- 参数
ftp_path (str) – FTP 远程路径。对于单个文件，必须包含该文件。对于多个文件，它是查找文件的路由。
s3_bucket (str) – 上传文件到目标 S3 存储桶。
s3_key (str) – 目标 S3 键。对于单个文件，必须包含文件路径。对于多个文件，必须以 “/” 结尾。
ftp_filenames (str | list[str] | None) – 仅当要移动多个文件时才使用。您可以传递一个包含 FTP 路径中存在的精确文件名的列表，或者一个所有文件都必须满足的前缀。它也可以是字符串 “*”，用于移动 FTP 路径内的所有文件。
s3_filenames (str | list[str] | None) – 仅当您要移动多个文件并将其命名为与 FTP 中的原始名称不同时才使用。它可以是文件名列表或文件前缀（将替换 FTP 前缀）。
ftp_conn_id (str) – FTP 连接 ID。用于建立与 FTP 服务器连接的名称或标识符。
aws_conn_id (str | None) – S3 连接 ID。用于建立与 S3 连接的名称或标识符。
replace (bool) – 一个标志，用于决定是否覆盖已存在的键。如果 replace 为 False 且键存在，则会引发错误。
encrypt (bool) – 如果为 True，则该文件将在服务器端由 S3 加密，并在 S3 中静态存储时以加密形式存储。
gzip (bool) – 如果为 True，则该文件将在本地压缩
acl_policy (str | None) – 指定上传到 S3 存储桶的文件的标准 ACL 策略的字符串。
- template_fields: collections.abc.Sequence[str] = ('ftp_path', 's3_bucket', 's3_key', 'ftp_filenames', 's3_filenames')[源代码]¶