Google Cloud BigQuery 传输运营商到 Microsoft SQL Server¶

Google Cloud BigQuery 是 Google Cloud 无服务器数据仓库产品。Microsoft SQL Server (MsSQL) 是 Microsoft 开发的关系数据库管理系统。此运营商可用于将数据从 BigQuery 表复制到 MSSQL。

先决任务¶

要使用这些运营商，您必须执行以下操作

使用 Cloud 控制台选择或创建 Cloud Platform 项目。

为您的项目启用帐单，如 Google Cloud 文档中所述。

启用 API，如 Cloud 控制台文档中所述。
通过pip安装 API 库。
pip install 'apache-airflow[google]'
详细信息请参阅安装。
设置 Google Cloud 连接.

操作符¶

使用BigQueryToMsSqlOperator操作符将数据从一个 BigQuery 表复制到另一个 BigQuery 表。

使用Jinja 模板和target_table_name、impersonation_chain、dataset_id、table_id、source_project_dataset_table动态定义值。

您可以使用参数selected_fields限制要复制的字段（默认情况下为所有字段），以及参数replace覆盖目标表，而不是追加到目标表。有关更多信息，请参阅上面的链接。

传输数据¶

以下操作符将数据从 BigQuery 表复制到 MsSQL。

tests/system/providers/google/cloud/bigquery/example_bigquery_to_mssql.py[源代码]

bigquery_to_mssql = BigQueryToMsSqlOperator(
    task_id="bigquery_to_mssql",
    mssql_conn_id=CONNECTION_ID,
    source_project_dataset_table=f"{PROJECT_ID}.{BIGQUERY_DATASET_NAME}.{BIGQUERY_TABLE}",
    target_table_name=SQL_TABLE,
    replace=False,
)

参考¶

有关更多信息，请参阅