airflow.providers.common.sql.operators.generic_transfer¶

类¶

GenericTransfer

将数据从一个连接移动到另一个连接。

模块内容¶

class airflow.providers.common.sql.operators.generic_transfer.GenericTransfer(*, sql, destination_table, source_conn_id, source_hook_params=None, destination_conn_id, destination_hook_params=None, preoperator=None, insert_args=None, page_size=None, **kwargs)[源代码]¶

基类： airflow.models.BaseOperator

将数据从一个连接移动到另一个连接。

假设它们都在各自的 hook 中提供了所需的方法。源 hook 需要暴露一个 get_records 方法，目标 hook 需要暴露一个 insert_rows 方法。

这适用于适合内存的较小数据集。

参数:

sql (str) – 对源数据库执行的 SQL 查询。（模板化）
destination_table (str) – 目标表。（模板化）
source_conn_id (str) – 源连接。（模板化）
source_hook_params (dict | None) – 源 hook 参数。
destination_conn_id (str) – 目标连接。（模板化）
destination_hook_params (dict | None) – 目标 hook 参数。
preoperator (str | list[str] | None) – 在加载数据之前执行的 SQL 语句或语句列表。（模板化）
insert_args (dict | None) – insert_rows 方法的额外参数。
page_size (int | None) – 分页模式下读取的记录数（可选）。

template_fields: collections.abc.Sequence[str] = ('source_conn_id', 'destination_conn_id', 'sql', 'destination_table', 'preoperator', 'insert_args')[源代码]¶