airflow.providers.google.suite.transfers.local_to_drive¶
此文件包含 Google Drive 操作符。
模块内容¶
类¶
将文件列表上传到 Google Drive 文件夹。 |
- class airflow.providers.google.suite.transfers.local_to_drive.LocalFilesystemToGoogleDriveOperator(local_paths, drive_folder, gcp_conn_id='google_cloud_default', delete=False, ignore_if_missing=False, chunk_size=100 * 1024 * 1024, resumable=False, impersonation_chain=None, folder_id='root', show_full_target_path=True, **kwargs)[源代码]¶
基类：
airflow.models.BaseOperator将文件列表上传到 Google Drive 文件夹。
此操作符将本地文件列表上传到 Google Drive 文件夹。上传后可以选择删除本地文件。
另请参阅
有关如何使用此操作符的更多信息，请查看以下指南：LocalFilesystemToGoogleDriveOperator
- 参数
local_paths (collections.abc.Sequence[pathlib.Path] | collections.abc.Sequence[str]) – 本地文件路径的 Python 列表
drive_folder (pathlib.Path | str) – Drive 文件夹的路径，如果给定了 folder_id，则 drive_folder 是该文件夹的子路径。
gcp_conn_id (str) – 用于 GCP 的 Airflow 连接 ID。
delete (bool) – 上传后是否应删除本地文件？
ignore_if_missing (bool) – 如果为 True，即使某些文件无法上传也不会失败。
chunk_size (int) – 文件将以这么多字节的块上传。仅当 resumable 设置为 True 时才使用。如果文件要作为单个块上传，则传入值 -1。请注意，Google App Engine 对请求大小有限制，为 5MB，因此您永远不应将您的块大小设置为大于 5MB，或设置为 -1。
resumable (bool) – 如果这是可恢复的上传，则为 True。False 表示在单个请求中上传。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，使用短期凭据进行模拟，或者获取列表中最后一个帐户的访问令牌所需的帐户链式列表，该令牌将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向直接前面的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色
folder_id (str) – Drive 文件夹中每个本地路径的基本/根文件夹 ID。
show_full_target_path (bool) – 如果为 true，则在日志中显示完整的可用文件路径。
- 返回
上传后的远程文件 ID。