airflow.providers.amazon.aws.transfers.s3_to_sftp

模块内容

S3ToSFTPOperator

此操作符允许将文件从 S3 传输到 SFTP 服务器。

class airflow.providers.amazon.aws.transfers.s3_to_sftp.S3ToSFTPOperator(*, s3_bucket, s3_key, sftp_path, sftp_conn_id='ssh_default', aws_conn_id='aws_default', **kwargs)[源代码]

基类: airflow.models.BaseOperator

此操作符允许将文件从 S3 传输到 SFTP 服务器。

另请参阅

有关如何使用此操作符的更多信息,请查看指南: Amazon S3 到 SFTP 传输操作符

参数
  • sftp_conn_id (str) – SFTP 连接 ID。用于建立与 SFTP 服务器连接的名称或标识符。

  • sftp_path (str) – SFTP 远程路径。这是用于将文件上传到 SFTP 服务器的指定文件路径。

  • aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此项为 None 或空,则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或空,则将使用默认的 boto3 配置(并且必须在每个工作节点上维护)。

  • s3_bucket (str) – 目标 S3 存储桶。这是下载文件的 S3 存储桶。

  • s3_key (str) – 目标 S3 键。这是用于从 S3 下载文件的指定文件路径。

template_fields: collections.abc.Sequence[str] = ('s3_key', 'sftp_path', 's3_bucket')[源代码]
static get_s3_key(s3_key)[源代码]

解析 S3 键的正确格式,无论 S3 URL 如何传递。

execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

此条目是否有帮助?