`airflow.providers.google.cloud.transfers.mysql_to_gcs`¶

MySQL 到 GCS 操作符。

模块内容¶

类¶

MySQLToGCSOperator

以 JSON、CSV 或 Parquet 格式将数据从 MySQL 复制到 Google Cloud Storage。

class airflow.providers.google.cloud.transfers.mysql_to_gcs.MySQLToGCSOperator(*, mysql_conn_id='mysql_default', ensure_utc=False, **kwargs)[源代码]¶

基类：airflow.providers.google.cloud.transfers.sql_to_gcs.BaseSQLToGCSOperator

以 JSON、CSV 或 Parquet 格式将数据从 MySQL 复制到 Google Cloud Storage。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：MySQLToGCSOperator

参数

mysql_conn_id – 引用mysql 连接 ID。
ensure_utc – 确保 TIMESTAMP 列以 UTC 格式导出。如果设置为 False，TIMESTAMP 列将使用 MySQL 服务器的默认时区导出。

ui_color = '#a0e08c'[源代码]¶

type_map[源代码]¶

query()[源代码]¶: 查询 mysql 并返回结果的游标。

field_to_bigquery(field)[源代码]¶

将 DBAPI 字段转换为 BigQuery 架构格式。

convert_type(value, schema_type, **kwargs)[源代码]¶

从 MySQLdb 获取一个值，并将其转换为对 JSON/Google Cloud Storage/BigQuery 安全的值。

日期时间转换为 str(value) (datetime.isoformat(‘ ‘)) 字符串。
时间转换为 str((datetime.min + value).time()) 字符串。
小数转换为浮点数。
如果给定的 schema_type 是 DATE，日期转换为 ISO 格式的字符串；否则转换为 datetime.isoformat(‘ ‘) 字符串。
如果给定的 schema_type 是 INTEGER，二进制类型字段将转换为整数；否则使用 base64 编码。根据 BigQuery 文档：https://cloud.google.com/bigquery/data-types，导入的 BYTES 数据必须经过 base64 编码。

参数

value – MySQLdb 列值
schema_type (str) – BigQuery 数据类型

airflow.providers.google.cloud.transfers.mysql_to_gcs¶

模块内容¶

类¶

`airflow.providers.google.cloud.transfers.mysql_to_gcs`¶