airflow.providers.google.suite.transfers.gcs_to_gdrive

此模块包含一个 Google Cloud Storage 到 Google Drive 的传输运算符。

模块内容

GCSToGoogleDriveOperator

将对象从 Google Cloud Storage 服务复制到 Google Drive 服务,并根据请求进行重命名。

属性

WILDCARD

airflow.providers.google.suite.transfers.gcs_to_gdrive.WILDCARD = '*'[源代码]
class airflow.providers.google.suite.transfers.gcs_to_gdrive.GCSToGoogleDriveOperator(*, source_bucket, source_object, destination_object=None, destination_folder_id='root', move_object=False, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]

基类:airflow.models.BaseOperator

将对象从 Google Cloud Storage 服务复制到 Google Drive 服务,并根据请求进行重命名。

使用此运算符需要以下 OAuth 2.0 范围

https://www.googleapis.com/auth/drive

另请参阅

有关如何使用此运算符的更多信息,请查看指南:运算符

参数
  • source_bucket (str) – 对象所在的源 Google Cloud Storage 存储桶。(已模板化)

  • source_object (str) – 要在 Google Cloud Storage 存储桶中复制的对象的源名称。(已模板化)您只能对存储桶中的对象(文件名)使用一个通配符。通配符可以出现在对象名称内部或对象名称的末尾。不支持在存储桶名称后附加通配符。

  • destination_object (str | None) – 目标 Google Drive 服务中对象的目的名称。(已模板化)如果在 source_object 参数中提供了通配符,则这是将添加到最终目标对象路径的前缀。请注意,源路径中通配符之前的部分将被删除;如果需要保留,则应将其附加到 destination_object。例如,前缀为 foo/* 且 destination_object 为 blah/,则文件 foo/baz 将被复制到 blah/baz;要保留前缀,请将 destination_object 编写为例如 blah/foo,在这种情况下,复制的文件将被命名为 blah/foo/baz

  • destination_folder_id (str) – 目标对象将放置的文件夹 ID。它是 destination_object 中指定的任何内容的可加性前缀。例如,如果文件夹 ID xXyYzZ 被称为 foo 并且目标是 bar/baz,则文件将最终位于 foo/bar/baz 中。这可用于定位已对其他用户可见的现有文件夹。提供的凭据必须具有对此文件夹的访问权限。

  • move_object (bool) – 当 move_object 为 True 时,对象将被移动而不是复制到新位置。这等效于 mv 命令而不是 cp 命令。

  • gcp_conn_id (str) – (可选)用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或用于获取列表中最后一个帐户的 access_token 的链式帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须授予原始帐户服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中标识必须将服务帐户令牌创建者 IAM 角色授予紧邻的标识,列表中的第一个帐户将此角色授予原始帐户(已模板化)。

template_fields: collections.abc.Sequence[str] = ('source_bucket', 'source_object', 'destination_object', 'impersonation_chain')[源代码]
ui_color = '#f0eee4'[源代码]
execute(context)[源代码]

在创建运算符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

此条目是否有帮助?