Google Cloud BigQuery 转移操作符到 BigQuery¶

Google Cloud BigQuery 是 Google Cloud 提供的无服务器数据仓库。此操作符可用于将数据从一个 BigQuery 表复制到另一个表。

先决条件任务¶

要使用这些操作符，您必须执行以下几项操作

使用 Cloud Console 选择或创建一个云平台项目。

按照 Google Cloud 文档中的说明，为您的项目启用结算。

按照 Cloud Console 文档中的说明，启用 API。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关详细信息，请参阅安装。
设置 Google Cloud 连接.

操作符¶

使用 BigQueryToBigQueryOperator 操作符执行将数据从一个 BigQuery 表复制到另一个表的操作。

使用 Jinja 模板和 source_project_dataset_tables、 destination_project_dataset_table、labels、 impersonation_chain 动态定义值。

您可以包含多个源表，以及定义 write_disposition 和 create_disposition。有关详细信息，请参阅上面的链接。

复制 BigQuery 表¶

以下操作符将数据从一个或多个 BigQuery 表复制到另一个表。

tests/system/google/cloud/bigquery/example_bigquery_to_bigquery.py[源代码]

copy_selected_data = BigQueryToBigQueryOperator(
    task_id="copy_selected_data",
    source_project_dataset_tables=f"{DATASET_NAME}.{ORIGIN}",
    destination_project_dataset_table=f"{DATASET_NAME}.{TARGET}",
)

参考¶

如需更多信息，请参阅