• 首页
• airflow.providers.amazon
• airflow.providers.amazon.aws
• airflow.providers.amazon.aws.sensors
• airflow.providers.amazon.aws.sensors.sagemaker

airflow.providers.amazon.aws.sensors.sagemaker

模块内容

类

SageMakerBaseSensor	包含 SageMaker 的通用传感器行为。
SageMakerEndpointSensor	轮询端点状态，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。
SageMakerTransformSensor	轮询转换作业，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。
SageMakerTuningSensor	轮询调优状态，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。
SageMakerTrainingSensor	轮询训练作业，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。
SageMakerPipelineSensor	轮询管道，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。
SageMakerAutoMLSensor	轮询自动 ML 作业，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。
SageMakerProcessingSensor	轮询处理作业，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerBaseSensor(*, aws_conn_id='aws_default', resource_type='job', **kwargs)

基类: airflow.sensors.base.BaseSensorOperator

包含 SageMaker 的通用传感器行为。

子类应实现 get_sagemaker_response() 和 state_from_response() 方法。子类还应实现 NON_TERMINAL_STATES 和 FAILED_STATE 方法。

ui_color = '#ededed'

hook()

poke(context)

在派生此类时覆盖。

abstract non_terminal_states()

返回不应终止的状态。

abstract failed_states()

返回被视为失败的状态。

abstract get_sagemaker_response()

检查 SageMaker 任务的状态。

get_failed_reason_from_response(response)

从 AWS 响应中提取失败原因。

abstract state_from_response(response)

从 AWS 响应中提取状态。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerEndpointSensor(*, endpoint_name, **kwargs)

基类: SageMakerBaseSensor

轮询端点状态，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。

另请参阅

有关如何使用此传感器的更多信息，请查看指南： 等待 Amazon SageMaker 端点状态

参数

endpoint_name – 要监视的端点实例的名称。

template_fields: collections.abc.Sequence[str] = ('endpoint_name',)

template_ext: collections.abc.Sequence[str] = ()

non_terminal_states()

返回不应终止的状态。

failed_states()

返回被视为失败的状态。

get_sagemaker_response()

检查 SageMaker 任务的状态。

get_failed_reason_from_response(response)

从 AWS 响应中提取失败原因。

state_from_response(response)

从 AWS 响应中提取状态。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerTransformSensor(*, job_name, **kwargs)

基类: SageMakerBaseSensor

轮询转换作业，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。

另请参阅

有关如何使用此传感器的更多信息，请查看指南：等待 Amazon SageMaker 转换作业状态

参数

job_name (str) – 要监视的转换作业的名称。

template_fields: collections.abc.Sequence[str] = ('job_name',)

template_ext: collections.abc.Sequence[str] = ()

non_terminal_states()

返回不应终止的状态。

failed_states()

返回被视为失败的状态。

get_sagemaker_response()

检查 SageMaker 任务的状态。

get_failed_reason_from_response(response)

从 AWS 响应中提取失败原因。

state_from_response(response)

从 AWS 响应中提取状态。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerTuningSensor(*, job_name, **kwargs)

基类: SageMakerBaseSensor

轮询调优状态，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。

另请参阅

有关如何使用此传感器的更多信息，请查看指南：等待 Amazon SageMaker 调优作业状态

参数

job_name (str) – 要监视的调优实例的名称。

template_fields: collections.abc.Sequence[str] = ('job_name',)

template_ext: collections.abc.Sequence[str] = ()

non_terminal_states()

返回不应终止的状态。

failed_states()

返回被视为失败的状态。

get_sagemaker_response()

检查 SageMaker 任务的状态。

get_failed_reason_from_response(response)

从 AWS 响应中提取失败原因。

state_from_response(response)

从 AWS 响应中提取状态。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerTrainingSensor(*, job_name, print_log=True, **kwargs)

基类: SageMakerBaseSensor

轮询训练作业，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。

另请参阅

有关如何使用此传感器的更多信息，请参阅以下指南：等待 Amazon SageMaker 训练作业状态

参数

• job_name – 要监视的训练作业的名称。

• print_log – 如果为 True，则打印 cloudwatch 日志；默认为 True。

template_fields: collections.abc.Sequence[str] = ('job_name',)

template_ext: collections.abc.Sequence[str] = ()

init_log_resource(hook)

为关联的训练作业设置尾部 LogState。

non_terminal_states()

返回不应终止的状态。

failed_states()

返回被视为失败的状态。

get_sagemaker_response()

检查 SageMaker 任务的状态。

get_failed_reason_from_response(response)

从 AWS 响应中提取失败原因。

state_from_response(response)

从 AWS 响应中提取状态。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerPipelineSensor(*, pipeline_exec_arn, verbose=True, **kwargs)

基类: SageMakerBaseSensor

轮询管道，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。

另请参阅

有关如何使用此传感器的更多信息，请参阅以下指南：等待 Amazon SageMaker 管道执行状态

参数

• pipeline_exec_arn (str) – 要监视的管道的 ARN。

• verbose (bool) – 是否在等待完成时打印步骤详细信息。默认为 true，对于包含数千个步骤的管道，请考虑关闭此选项。

template_fields: collections.abc.Sequence[str] = ('pipeline_exec_arn',)

non_terminal_states()

返回不应终止的状态。

failed_states()

返回被视为失败的状态。

get_sagemaker_response()

检查 SageMaker 任务的状态。

state_from_response(response)

从 AWS 响应中提取状态。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerAutoMLSensor(*, job_name, **kwargs)

基类: SageMakerBaseSensor

轮询自动 ML 作业，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。

另请参阅

有关如何使用此传感器的更多信息，请参阅以下指南：等待 Amazon SageMaker AutoML 实验状态

参数

job_name (str) – 要监视的 AutoML 作业的唯一名称。

template_fields: collections.abc.Sequence[str] = ('job_name',)

non_terminal_states()

返回不应终止的状态。

failed_states()

返回被视为失败的状态。

get_sagemaker_response()

检查 SageMaker 任务的状态。

state_from_response(response)

从 AWS 响应中提取状态。

class airflow.providers.amazon.aws.sensors.sagemaker.SageMakerProcessingSensor(*, job_name, **kwargs)

基类: SageMakerBaseSensor

轮询处理作业，直到达到终端状态；如果失败，则抛出带有失败原因的 AirflowException。

另请参阅

有关如何使用此传感器的更多信息，请查看指南：等待 Amazon SageMaker 处理作业状态

参数

job_name (str) – 要监视的处理作业的名称。

template_fields: collections.abc.Sequence[str] = ('job_name',)

template_ext: collections.abc.Sequence[str] = ()

non_terminal_states()

返回不应终止的状态。

failed_states()

返回被视为失败的状态。

get_sagemaker_response()

检查 SageMaker 任务的状态。

state_from_response(response)

从 AWS 响应中提取状态。

上一个 下一个

此条目是否有帮助？