Google Cloud BigQuery 传输算子到 Microsoft SQL Server¶

Google Cloud BigQuery 是 Google Cloud 提供的无服务器数据仓库服务。Microsoft SQL Server (MsSQL) 是微软开发的关系数据库管理系统。此算子可用于将数据从 BigQuery 表复制到 MSSQL。

先决条件¶

要使用这些算子，您必须完成以下几件事：

使用Cloud Console选择或创建一个 Cloud Platform 项目。

按照Google Cloud 文档中的说明，为您的项目启用结算功能。

按照Cloud Console 文档中的说明，启用 API。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关详细信息，请参阅安装。
设置 Google Cloud 连接.

算子¶

将数据从一个 BigQuery 表复制到另一个表是通过 BigQueryToMsSqlOperator 算子执行的。

使用Jinja 模板和 target_table_name, impersonation_chain, dataset_id, table_id, source_project_dataset_table 来动态定义值。

您可以使用参数 selected_fields 来限制要复制的字段（默认情况下为所有字段），以及使用参数 replace 来覆盖目标表而不是追加到目标表。有关更多信息，请参阅上面的链接。

传输数据¶

以下算子将数据从 BigQuery 表复制到 MsSQL。

tests/system/google/cloud/bigquery/example_bigquery_to_mssql.py[源代码]

bigquery_to_mssql = BigQueryToMsSqlOperator(
    task_id="bigquery_to_mssql",
    mssql_conn_id=CONNECTION_ID,
    source_project_dataset_table=f"{PROJECT_ID}.{BIGQUERY_DATASET_NAME}.{BIGQUERY_TABLE}",
    target_table_name=SQL_TABLE,
    replace=False,
)

参考¶

有关更多信息，请查看：