`airflow.providers.mysql.transfers.s3_to_mysql`¶

模块内容¶

类¶

S3ToMySqlOperator

从 S3 将文件加载到 MySQL 表中。

class airflow.providers.mysql.transfers.s3_to_mysql.S3ToMySqlOperator(*, s3_source_key, mysql_table, mysql_duplicate_key_handling='IGNORE', mysql_extra_options=None, aws_conn_id='aws_default', mysql_conn_id='mysql_default', mysql_local_infile=False, **kwargs)[源代码]¶

基类：airflow.models.BaseOperator

从 S3 将文件加载到 MySQL 表中。

参数

s3_source_key (str) – 将要加载到 MySQL 的文件路径（S3 密钥）。
mysql_table (str) – 将要发送数据的 MySQL 表。
mysql_duplicate_key_handling (str) –
指定如何处理重复数据。您可以选择 IGNORE 或 REPLACE。

另请参阅

https://dev.mysqlserver.cn/doc/refman/8.0/en/load-data.html#load-data-duplicate-key-handling
mysql_extra_options (str | None) – 用于指定如何加载数据的 MySQL 选项。
aws_conn_id (str | None) – 包含 S3 Bucket 凭据的 S3 连接。
mysql_conn_id (str) – 对 mysql 连接 ID 的引用。
mysql_local_infile (bool) – 用于启用 MySQLHook 上的 local_infile 选项的标志。这将使用 LOAD DATA LOCAL INFILE 命令直接加载 MySQL。默认为 False。

template_fields: collections.abc.Sequence[str] = ('s3_source_key', 'mysql_table')[源代码]¶

template_ext: collections.abc.Sequence[str] = ()[源代码]¶

ui_color = '#f4a460'[源代码]¶

execute(context)[源代码]¶

执行从 S3 到 MySQL 的传输操作。

参数: context (airflow.utils.context.Context) – 执行时提供的上下文。

airflow.providers.mysql.transfers.s3_to_mysql¶

模块内容¶

类¶

`airflow.providers.mysql.transfers.s3_to_mysql`¶