airflow.providers.google.cloud.transfers.bigquery_to_bigquery¶
此模块包含 Google BigQuery 到 BigQuery 的操作符。
模块内容¶
类¶
将数据从一个 BigQuery 表复制到另一个表。 |
- class airflow.providers.google.cloud.transfers.bigquery_to_bigquery.BigQueryToBigQueryOperator(*, source_project_dataset_tables, destination_project_dataset_table, write_disposition='WRITE_EMPTY', create_disposition='CREATE_IF_NEEDED', gcp_conn_id='google_cloud_default', labels=None, encryption_configuration=None, location=None, impersonation_chain=None, **kwargs)[source]¶
基类：
airflow.models.BaseOperator将数据从一个 BigQuery 表复制到另一个表。
另请参阅
有关如何使用此操作符的更多信息，请查看指南： 操作符
另请参阅
有关这些参数的更多详细信息： https://cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.copy
- 参数
source_project_dataset_tables (list[str] | str) – 一个或多个点分隔的
(project:|project.)<dataset>.<table>BigQuery 表作为源数据。如果未包含<project>，则项目将是连接 json 中定义的项目。如果有多个源表，请使用列表。（已模板化）destination_project_dataset_table (str) – 目标 BigQuery 表。格式为：
(project:|project.)<dataset>.<table>(已模板化)write_disposition (str) – 如果表已存在，则写入处置方式。
create_disposition (str) – 如果表不存在，则创建处置方式。
gcp_conn_id (str) – (可选) 用于连接到 Google Cloud 的连接 ID。
labels (dict | None) – 一个包含作业/查询标签的字典，传递给 BigQuery
encryption_configuration (dict | None) –
[可选] 自定义加密配置（例如，Cloud KMS 密钥）。
encryption_configuration = { "kmsKeyName": "projects/testp/locations/us/keyRings/test-kr/cryptoKeys/test-key", }
location (str | None) – 作业的地理位置。如果运行作业的位置不在美国或欧盟多区域位置，或者该位置在单个区域（例如 us-central1）中，则必须指定运行作业的位置。有关更多详细信息，请查看： https://cloud.google.com/bigquery/docs/locations#specifying_your_location
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该 access_token 将在请求中模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接在前的标识，列表中的第一个帐户将此角色授予原始帐户（已模板化）。
- template_fields: collections.abc.Sequence[str] = ('source_project_dataset_tables', 'destination_project_dataset_table', 'labels', 'impersonation_chain')[source]¶
- template_ext: collections.abc.Sequence[str] = ('.sql',)[source]¶