airflow.providers.standard.operators.generic_transfer

模块内容

GenericTransfer

将数据从一个连接移动到另一个连接。

class airflow.providers.standard.operators.generic_transfer.GenericTransfer(*, sql, destination_table, source_conn_id, source_hook_params=None, destination_conn_id, destination_hook_params=None, preoperator=None, insert_args=None, **kwargs)[源代码]

基类:airflow.models.BaseOperator

将数据从一个连接移动到另一个连接。

假设它们都在各自的钩子中提供了所需的方法。源钩子需要公开一个 get_records 方法,目标钩子需要公开一个 insert_rows 方法。

这适用于可以放入内存中的小型数据集。

参数
  • sql (str) – 要针对源数据库执行的 SQL 查询。(已模板化)

  • destination_table (str) – 目标表。(已模板化)

  • source_conn_id (str) – 源连接。(已模板化)

  • destination_conn_id (str) – 目标连接。(已模板化)

  • preoperator (str | list[str] | None) – 在加载数据之前要执行的 SQL 语句或语句列表。(已模板化)

  • insert_args (dict | None) – insert_rows 方法的额外参数。

template_fields: collections.abc.Sequence[str] = ('source_conn_id', 'destination_conn_id', 'sql', 'destination_table', 'preoperator', 'insert_args')[源代码]
template_ext: collections.abc.Sequence[str] = ('.sql', '.hql')[源代码]
template_fields_renderers[源代码]
ui_color = '#b0f07c'[源代码]
classmethod get_hook(conn_id, hook_params=None)[源代码]

返回此连接 ID 的默认钩子。

参数
  • conn_id (str) – 连接 ID

  • hook_params (dict | None) – 钩子参数

返回

此连接的默认钩子

返回类型

airflow.hooks.base.BaseHook

execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

此条目是否有帮助?