Google Cloud BigQuery 传输操作符到 MySQL¶

Google Cloud BigQuery 是 Google Cloud 提供的无服务器数据仓库。MySQL 是一个开源关系数据库管理系统。此操作符可用于将数据从 BigQuery 表复制到 MySQL。

先决任务¶

要使用这些操作符，你必须执行一些操作

使用 Cloud 控制台选择或创建一个 Cloud Platform 项目。

为你的项目启用帐单，如 Google Cloud 文档中所述。

启用 API，如 Cloud 控制台文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关安装的详细信息，请参阅。
设置 Google Cloud 连接.

操作符¶

使用 BigQueryToMySqlOperator 操作符从一个 BigQuery 表格复制数据到另一个 BigQuery 表格。

使用 Jinja 模板和 target_table_name, impersonation_chain, dataset_id, table_id, dataset_id, table_id 动态定义值。

您可以使用参数 selected_fields 限制要复制的字段（默认情况下为所有字段），还可以使用参数 replace 覆盖目标表格，而不是追加到目标表格。有关更多信息，请参阅上面的链接。

传输数据¶

以下操作符从 BigQuery 表格复制数据到 MySQL。

tests/system/providers/google/cloud/bigquery/example_bigquery_to_mysql.py[源代码]

bigquery_to_mysql = BigQueryToMySqlOperator(
    task_id="bigquery_to_mysql",
    dataset_table=f"{DATASET_NAME}.{TABLE}",
    target_table_name=destination_table,
    replace=False,
)

参考¶

有关更多信息，请参阅