Google Cloud BigQuery 传输算子到 BigQuery¶

Google Cloud BigQuery 是 Google Cloud 的无服务器数据仓库产品。此算子可用于将数据从一张 BigQuery 表格复制到另一张表中。

先决条件任务¶

要使用这些算子，你必须执行以下操作

使用 Cloud 控制台选择或创建 Cloud Platform 项目。

为你的项目启用帐单，如 Google Cloud 文档中所述。

启用 API，如 Cloud 控制台文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
详细的信息可用于安装。
设置 Google Cloud 连接.

算子¶

使用 BigQueryToBigQueryOperator 算子从一张 BigQuery 表格复制数据到另一张表中。

使用 Jinja 模板与 source_project_dataset_tables, destination_project_dataset_table, labels, impersonation_chain 动态定义值。

你可以包含多个源表，以及定义 write_disposition 和 create_disposition。有关更多信息，请参阅上述链接。

复制 BigQuery 表¶

以下运算符将数据从一个或多个 BigQuery 表复制到另一个表。

tests/system/providers/google/cloud/bigquery/example_bigquery_to_bigquery.py[源代码]

copy_selected_data = BigQueryToBigQueryOperator(
    task_id="copy_selected_data",
    source_project_dataset_tables=f"{DATASET_NAME}.{ORIGIN}",
    destination_project_dataset_table=f"{DATASET_NAME}.{TARGET}",
)

参考¶

有关更多信息，请查看