airflow.providers.amazon.aws.transfers.local_to_s3¶

类¶

LocalFilesystemToS3Operator

将文件从本地文件系统上传到 Amazon S3。

模块内容¶

class airflow.providers.amazon.aws.transfers.local_to_s3.LocalFilesystemToS3Operator(*, filename, dest_key, dest_bucket=None, aws_conn_id='aws_default', verify=None, replace=False, encrypt=False, gzip=False, acl_policy=None, **kwargs)[source]¶

基础： airflow.models.BaseOperator

将文件从本地文件系统上传到 Amazon S3。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：本地到 Amazon S3 传输操作符

参数：

filename (str) – 本地文件的路径。路径可以是绝对路径（例如 /path/to/file.ext），也可以是相对路径（例如 ../../foo//.csv）。(模板化)
dest_key (str) –
要复制到的对象的键。(模板化)

可以是完整的 s3:// 风格 URL，也可以是相对于根级别的路径。

当指定为完整的 s3:// URL 时，请省略 dest_bucket。
dest_bucket (str | None) – 对象复制到的 S3 存储桶的名称。(模板化)
aws_conn_id (str | None) – 要使用的 S3 连接的连接 ID
verify (str | bool | None) –
是否验证 S3 连接的 SSL 证书。默认情况下会验证 SSL 证书。

您可以提供以下值：
- False：不验证 SSL 证书。SSL 仍将使用，
  但 SSL 证书将不被验证。
- path/to/cert/bundle.pem：CA 证书包的文件名。
  如果您想使用与 botocore 使用的不同 CA 证书包，可以指定此参数。
replace (bool) – 一个标志，决定是否覆盖已存在的键。如果 replace 为 False 且键已存在，则会引发错误。
encrypt (bool) – 如果为 True，文件将在服务器端由 S3 加密，并以加密形式存储在 S3 中。
gzip (bool) – 如果为 True，文件将在本地被压缩
acl_policy (str | None) – 指定上传到 S3 存储桶的文件的 canned ACL 策略的字符串。

template_fields: collections.abc.Sequence[str] = ('filename', 'dest_key', 'dest_bucket')[source]¶

filename[source]¶

dest_key[source]¶

dest_bucket = None[source]¶

aws_conn_id = 'aws_default'[source]¶

verify = None[source]¶

replace =False[source]¶

encrypt =False[source]¶

gzip =False[source]¶

acl_policy =None[source]¶

execute(context)[source]¶

创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文信息，请参阅 get_template_context。