IO 操作器

这些操作器在文件系统或对象存储上执行各种操作。

传输文件

使用 FileTransferOperator 将文件从一个位置复制到另一个位置。操作器的参数是

  • src - 源路径，为字符串或 ObjectStoragePath

  • dst - 目标路径，为字符串或 ObjectStoragePath

  • src_conn_id - 源连接 ID（默认值：None）

  • dst_conn_id - 目标连接 ID（默认值：None）

  • overwrite - 覆盖目标（默认值：False）

如果 src 和 dst 都在同一个对象存储上，则将在对象存储中执行复制。否则，数据将从源流式传输到目标。

下面的示例显示了如何实例化 SQLExecuteQueryOperator 任务。

tests/system/providers/common/io/example_file_transfer_local_to_s3.py[源代码]

transfer = FileTransferOperator(src=temp_file_path, dst=AWS_BUCKET, task_id="transfer")

此条目有帮助吗？