airflow.providers.mysql.transfers.presto_to_mysql

模块内容

类

PrestoToMySqlOperator

将数据从 Presto 移动到 MySQL。
class airflow.providers.mysql.transfers.presto_to_mysql.PrestoToMySqlOperator(*, sql, mysql_table, presto_conn_id='presto_default', mysql_conn_id='mysql_default', mysql_preoperator=None, **kwargs)[源代码]

基类: airflow.models.BaseOperator

将数据从 Presto 移动到 MySQL。

请注意，目前数据在推送到 MySQL 之前会加载到内存中，因此此操作符应仅用于处理少量数据。

参数

  • sql (str) – 要针对 Presto 执行的 SQL 查询。（可使用模板）

  • mysql_table (str) – 目标 MySQL 表，使用点号表示法来指定特定的数据库。（可使用模板）

  • mysql_conn_id (str) – 引用 mysql 连接 ID。

  • presto_conn_id (str) – 源 presto 连接

  • mysql_preoperator (str | None) – 在导入之前对 MySQL 运行的 sql 语句，通常用于截断或删除传入的数据，从而使任务具有幂等性（运行两次任务不会重复加载数据）。（可使用模板）

template_fields: collections.abc.Sequence[str] = ('sql', 'mysql_table', 'mysql_preoperator')[源代码]
template_ext: collections.abc.Sequence[str] = ('.sql',)[源代码]
template_fields_renderers[源代码]
ui_color = '#a0e08c'[源代码]
execute(context)[源代码]

在创建操作符时派生。

Context 是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

此条目是否有帮助？