airflow.providers.google.suite.transfers.gcs_to_gdrive

此模块包含一个 Google Cloud Storage 到 Google Drive 的传输操作符。

属性

WILDCARD

GCSToGoogleDriveOperator

将对象从 Google Cloud Storage 服务复制到 Google Drive 服务,如果需要则进行重命名。

模块内容

airflow.providers.google.suite.transfers.gcs_to_gdrive.WILDCARD = '*'[源码]
class airflow.providers.google.suite.transfers.gcs_to_gdrive.GCSToGoogleDriveOperator(*, source_bucket, source_object, destination_object=None, destination_folder_id='root', move_object=False, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源码]

基类: airflow.models.BaseOperator

将对象从 Google Cloud Storage 服务复制到 Google Drive 服务,如果需要则进行重命名。

使用此操作符需要以下 OAuth 2.0 范围

https://www.googleapis.com/auth/drive

另请参阅

有关如何使用此操作符的更多信息,请参阅指南: 操作符

参数:
  • source_bucket (str) – 对象所在的源 Google Cloud Storage 存储桶。(模板化)

  • source_object (str) – 要复制到 Google Cloud Storage 存储桶中的对象的源名称。(模板化) 您只能在存储桶内的对象(文件名)中使用一个通配符。通配符可以出现在对象名称内部或对象名称末尾。不支持在存储桶名称后附加通配符。

  • destination_object (str | None) – 目标 Google Drive 服务中对象的目的地名称。(模板化) 如果 source_object 参数中提供了通配符,则此参数是最终目标对象路径将添加的前缀。请注意,通配符之前的源路径部分将被移除;如果需要保留,应将其附加到 destination_object。例如,对于前缀 foo/* 和 destination_object blah/,文件 foo/baz 将复制到 blah/baz;要保留前缀,请将 destination_object 写为例如 blah/foo,此时复制的文件将命名为 blah/foo/baz

  • destination_folder_id (str) – 目标对象将放置的文件夹 ID。它是在 destination_object 中指定的任何内容之前的附加前缀。例如,如果文件夹 ID xXyYzZ 被称为 foo,并且目的地是 bar/baz,则文件最终将位于 foo/bar/baz。这可用于指定一个已对其他用户可见的现有文件夹。提供的凭据必须具有访问此文件夹的权限。

  • move_object (bool) – 当 move_object 为 True 时,对象将被移动而不是复制到新位置。这相当于 mv 命令而非 cp 命令。

  • gcp_conn_id (str) – (可选) 用于连接 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – (可选) 使用短期凭据模拟的服务帐号,或是获取列表中最后一个帐号 access_token 所需的帐号链列表,该帐号将在请求中被模拟。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予紧接其前的身份 Service Account Token Creator IAM 角色,列表中的第一个帐号则将此角色授予发起帐号。(模板化)

template_fields: collections.abc.Sequence[str] = ('source_bucket', 'source_object', 'destination_object', 'impersonation_chain')[源码]
ui_color = '#f0eee4'[源码]
source_bucket[源码]
source_object[源码]
destination_object = None[源码]
destination_folder_id = 'root'[源码]
move_object = False[源码]
gcp_conn_id = 'google_cloud_default'[源码]
impersonation_chain = None[源码]
gcs_hook: airflow.providers.google.cloud.hooks.gcs.GCSHook | None = None[源码]
gdrive_hook: airflow.providers.google.suite.hooks.drive.GoogleDriveHook | None = None[源码]
execute(context)[源码]

创建操作符时派生此方法。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文信息,请参阅 get_template_context。

本条目是否有帮助?