• 首页
• airflow.providers.amazon
• airflow.providers.amazon.aws
• airflow.providers.amazon.aws.operators
• airflow.providers.amazon.aws.operators.dms

airflow.providers.amazon.aws.operators.dms

模块内容

类

DmsCreateTaskOperator	创建 AWS DMS 复制任务。
DmsDeleteTaskOperator	删除 AWS DMS 复制任务。
DmsDescribeTasksOperator	描述 AWS DMS 复制任务。
DmsStartTaskOperator	启动 AWS DMS 复制任务。
DmsStopTaskOperator	停止 AWS DMS 复制任务。
DmsDescribeReplicationConfigsOperator	描述 AWS DMS 无服务器复制配置。
DmsCreateReplicationConfigOperator	创建 AWS DMS 无服务器复制配置。
DmsDeleteReplicationConfigOperator	删除 AWS DMS 无服务器复制配置。
DmsDescribeReplicationsOperator	描述 AWS DMS 无服务器复制。
DmsStartReplicationOperator	启动 AWS DMS 无服务器复制。
DmsStopReplicationOperator	停止 AWS DMS 无服务器复制。

class airflow.providers.amazon.aws.operators.dms.DmsCreateTaskOperator(*, replication_task_id, source_endpoint_arn, target_endpoint_arn, replication_instance_arn, table_mappings, migration_type='full-load', create_task_kwargs=None, aws_conn_id='aws_default', **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

创建 AWS DMS 复制任务。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：创建复制任务

参数

• replication_task_id (str) – 复制任务 ID

• source_endpoint_arn (str) – 源端点 ARN

• target_endpoint_arn (str) – 目标端点 ARN

• replication_instance_arn (str) – 复制实例 ARN

• table_mappings (dict) – 表映射

• migration_type (str) – 迁移类型（'full-load'|'cdc'|'full-load-and-cdc'），默认为 full-load。

• create_task_kwargs (dict | None) – 用于 DMS 复制任务创建的额外参数。

• aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class

template_fields: collections.abc.Sequence[str]

template_fields_renderers: ClassVar[dict]

execute(context)

从 Airflow 创建 AWS DMS 复制任务。

返回

复制任务 ARN

class airflow.providers.amazon.aws.operators.dms.DmsDeleteTaskOperator(*, replication_task_arn=None, **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

删除 AWS DMS 复制任务。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：删除复制任务

参数

• replication_task_arn (str | None) – 复制任务 ARN

• aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class

template_fields: collections.abc.Sequence[str]

execute(context)

从 Airflow 中删除 AWS DMS 复制任务。

返回

复制任务 ARN

class airflow.providers.amazon.aws.operators.dms.DmsDescribeTasksOperator(*, describe_tasks_kwargs=None, **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

描述 AWS DMS 复制任务。

另请参阅

有关如何使用此运算符的更多信息，请查看指南： 获取复制任务的详细信息

参数

• describe_tasks_kwargs (dict | None) – 描述任务命令参数

• aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class

template_fields: collections.abc.Sequence[str]

template_fields_renderers: ClassVar[dict[str, str]]

execute(context)

从 Airflow 中描述 AWS DMS 复制任务。

返回

标记和复制任务列表

返回类型

tuple[str | None, list]

class airflow.providers.amazon.aws.operators.dms.DmsStartTaskOperator(*, replication_task_arn, start_replication_task_type='start-replication', start_task_kwargs=None, aws_conn_id='aws_default', **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

启动 AWS DMS 复制任务。

另请参阅

有关如何使用此运算符的更多信息，请查看指南： 启动复制任务

参数

• replication_task_arn (str) – 复制任务 ARN

• start_replication_task_type (str) – 复制任务启动类型（默认值='start-replication'）('start-replication'|'resume-processing'|'reload-target')

• start_task_kwargs (dict | None) – 额外的启动复制任务参数

• aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class

template_fields: collections.abc.Sequence[str]

template_fields_renderers

execute(context)

从 Airflow 启动 AWS DMS 复制任务。

class airflow.providers.amazon.aws.operators.dms.DmsStopTaskOperator(*, replication_task_arn=None, **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

停止 AWS DMS 复制任务。

另请参阅

有关如何使用此运算符的更多信息，请查看指南： 停止复制任务

参数

• replication_task_arn (str | None) – 复制任务 ARN

• aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class

template_fields: collections.abc.Sequence[str]

execute(context)

从 Airflow 停止 AWS DMS 复制任务。

class airflow.providers.amazon.aws.operators.dms.DmsDescribeReplicationConfigsOperator(*, filter=None, aws_conn_id='aws_default', **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

描述 AWS DMS 无服务器复制配置。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：描述无服务器复制配置

参数

• describe_config_filter – 用于过滤结果的过滤器块。

• aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须是

aws_hook_class

template_fields: collections.abc.Sequence[str]

template_fields_renderers

execute(context)

描述 AWS DMS 复制配置。

返回

复制配置列表

返回类型

list

class airflow.providers.amazon.aws.operators.dms.DmsCreateReplicationConfigOperator(*, replication_config_id, source_endpoint_arn, target_endpoint_arn, compute_config, replication_type, table_mappings, additional_config_kwargs=None, aws_conn_id='aws_default', **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

创建 AWS DMS 无服务器复制配置。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：创建无服务器复制配置

参数

• replication_config_id (str) – 用于创建 ReplicationConfigArn 的唯一标识符。

• source_endpoint_arn (str) – 源端点的 ARN

• target_endpoint_arn (str) – 目标端点的 ARN

• compute_config (dict[str, Any]) – 用于配置 DMS 无服务器复制的参数。

• replication_type (str) – DMS 无服务器复制的类型

• table_mappings (str) – JSON 表映射

• tags – 键值标签对

• additional_config_kwargs (dict | None) – 用于 DMS 无服务器复制的其他配置参数。直接传递给 API

• aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须是

aws_hook_class

template_fields: collections.abc.Sequence[str]

template_fields_renderers

execute(context)

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.amazon.aws.operators.dms.DmsDeleteReplicationConfigOperator(*, replication_config_arn, wait_for_completion=True, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), waiter_delay=60, waiter_max_attempts=60, aws_conn_id='aws_default', **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

删除 AWS DMS 无服务器复制配置。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：删除无服务器复制配置

参数

• replication_config_arn (str) – 复制配置的 ARN

• wait_for_completion (bool) – 如果为 True，则在返回之前等待复制配置被删除。如果为 False，则操作符将在发出请求后立即返回。

• deferrable (bool) – 在可延迟模式下运行操作符。

• waiter_delay (int) – 重试之间等待的秒数（默认值：60）。

• waiter_max_attempts (int) – 要尝试的最大次数（默认值：60）。

• aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须是

aws_hook_class

template_fields: collections.abc.Sequence[str]

VALID_STATES = ['failed', 'stopped', 'created']

DELETING_STATES = ['deleting']

TERMINAL_PROVISION_STATES = ['已取消配置', '']

execute(context)

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

handle_delete_wait()

execute_complete(context, event=None)

retry_execution(context, event=None)

class airflow.providers.amazon.aws.operators.dms.DmsDescribeReplicationsOperator(*, filter=None, aws_conn_id='aws_default', **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

描述 AWS DMS 无服务器复制。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：获取无服务器复制的状态

参数

• filter (list[dict[str, Any]] | None) – 用于过滤结果的过滤器块。

• aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须是

aws_hook_class

template_fields: collections.abc.Sequence[str]

template_fields_renderer

execute(context)

描述 AWS DMS 复制。

返回

复制

返回类型

list[dict[str, Any]]

class airflow.providers.amazon.aws.operators.dms.DmsStartReplicationOperator(*, replication_config_arn, replication_start_type, cdc_start_time=None, cdc_start_pos=None, cdc_stop_pos=None, wait_for_completion=True, waiter_delay=30, waiter_max_attempts=60, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), aws_conn_id='aws_default', **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

启动 AWS DMS 无服务器复制。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：启动无服务器复制

参数

• replication_config_arn (str) – 复制配置的 ARN

• replication_start_type (str) – 复制类型。

• cdc_start_time (datetime.datetime | str | None) – CDC 的开始时间

• cdc_start_pos (str | None) – 指示何时开始 CDC。

• cdc_stop_pos (str | None) – 指示何时停止 CDC。

• aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须是

RUNNING_STATES = ['running']

STARTABLE_STATES = ['stopped', 'failed', 'created']

TERMINAL_STATES = ['failed', 'stopped', 'created']

TERMINAL_PROVISION_STATES = ['已取消配置', '']

aws_hook_class

template_fields: collections.abc.Sequence[str]

execute(context)

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event=None)

retry_execution(context, event=None)

class airflow.providers.amazon.aws.operators.dms.DmsStopReplicationOperator(*, replication_config_arn, wait_for_completion=True, waiter_delay=30, waiter_max_attempts=60, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), aws_conn_id='aws_default', **kwargs)

基类： airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

停止 AWS DMS 无服务器复制。

另请参阅

有关如何使用此运算符的更多信息，请查看以下指南： 停止无服务器复制

参数

• replication_config_arn (str) – 复制配置的 ARN

• aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须是

STOPPED_STATES = ['stopped']

NON_STOPPABLE_STATES = ['stopped']

aws_hook_class

template_fields: collections.abc.Sequence[str]

execute(context)

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event=None)

上一个 下一个

此条目是否有帮助？