IO 操作符

这些操作符对文件系统或对象存储执行各种操作。

传输文件

使用 FileTransferOperator 将文件从一个位置复制到另一个位置。操作符的参数如下：

  • src - 源路径，为字符串或 ObjectStoragePath

  • dst - 目标路径，为字符串或 ObjectStoragePath

  • src_conn_id - 源连接 ID（默认值：None）

  • dst_conn_id - 目标连接 ID（默认值：None）

  • overwrite - 覆盖目标（默认值：False）

如果 src 和 dst 都位于同一个对象存储上，则将在对象存储中执行复制。否则，数据将从源流式传输到目标。

下面的示例展示如何实例化 FileTransferOperator 任务。

tests/system/common/io/example_file_transfer_local_to_s3.py[源代码]

transfer = FileTransferOperator(src=temp_file_path, dst=AWS_BUCKET, task_id="transfer")

这个条目是否有帮助？