airflow.providers.amazon.aws.sensors.glue

模块内容

类

GlueJobSensor

等待 AWS Glue 作业达到以下任意状态。

GlueDataQualityRuleSetEvaluationRunSensor

等待 AWS Glue 数据质量规则集评估运行达到以下任意状态。

GlueDataQualityRuleRecommendationRunSensor

等待 AWS Glue 数据质量建议运行达到以下任意状态。
class airflow.providers.amazon.aws.sensors.glue.GlueJobSensor(*, job_name, run_id, verbose=False, aws_conn_id='aws_default', **kwargs)[源代码]

基类: airflow.sensors.base.BaseSensorOperator

等待 AWS Glue 作业达到以下任意状态。

‘FAILED’、‘STOPPED’、‘SUCCEEDED’

另请参阅

有关如何使用此传感器的更多信息，请查看本指南：等待 AWS Glue 作业状态

参数

  • job_name (str) – AWS Glue 作业唯一名称

  • run_id (str) – AWS Glue 当前正在运行的作业标识符

  • verbose (bool) – 如果为 True，则 Airflow 任务日志中会显示更多 Glue 作业运行日志。(默认：False)

template_fields: collections.abc.Sequence[str] = ('job_name', 'run_id')[源代码]
hook()[源代码]
poke(context)[源代码]

在派生此类时重写。

class airflow.providers.amazon.aws.sensors.glue.GlueDataQualityRuleSetEvaluationRunSensor(*, evaluation_run_id, show_results=True, verify_result_status=True, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poke_interval=120, max_retries=60, aws_conn_id='aws_default', **kwargs)[源代码]

基类: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.glue.GlueDataQualityHook]

等待 AWS Glue 数据质量规则集评估运行达到以下任意状态。

‘FAILED’、‘STOPPED’、‘STOPPING’、‘TIMEOUT’、‘SUCCEEDED’

另请参阅

有关如何使用此传感器的更多信息，请查看本指南：等待 AWS Glue 数据质量评估运行

参数

  • evaluation_run_id (str) – AWS Glue 数据质量规则集评估运行标识符。

  • verify_result_status (bool) – 验证所有规则集规则评估运行结果，如果任何规则状态为失败或错误，则会抛出异常。(默认：True)

  • show_results (bool) – 显示所有规则集规则评估运行结果。(默认：True)

  • deferrable (bool) – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。(默认：False，但可以通过在配置文件中将 default_deferrable 设置为 True 来覆盖)

  • poke_interval (int) – 轮询作业状态的间隔时间（以秒为单位）。(默认：120)

  • max_retries (int) – 返回当前状态之前的重试次数。(默认：60)

  • aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

  • region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

  • verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – botocore 客户端的配置字典（键值对）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

SUCCESS_STATES = ('SUCCEEDED',)[源代码]
FAILURE_STATES = ('FAILED', 'STOPPED', 'STOPPING', 'TIMEOUT')[源代码]
aws_hook_class[源代码]
template_fields: collections.abc.Sequence[str][源代码]
execute(context)[源代码]

在创建操作符时派生。

Context 是与渲染 jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event=None)[源代码]
poke(context)[源代码]

在派生此类时重写。

class airflow.providers.amazon.aws.sensors.glue.GlueDataQualityRuleRecommendationRunSensor(*, recommendation_run_id, show_results=True, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poke_interval=120, max_retries=60, aws_conn_id='aws_default', **kwargs)[源代码]

基类: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.glue.GlueDataQualityHook]

等待 AWS Glue 数据质量建议运行达到以下任意状态。

‘FAILED’、‘STOPPED’、‘STOPPING’、‘TIMEOUT’、‘SUCCEEDED’

另请参阅

有关如何使用此传感器的更多信息，请查看指南： 等待 AWS Glue 数据质量建议运行完成

参数

  • recommendation_run_id (str) – AWS Glue 数据质量规则建议运行标识符。

  • show_results (bool) – 在建议运行完成后显示推荐的规则集（一组规则）。（默认值：True）

  • deferrable (bool) – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。(默认：False，但可以通过在配置文件中将 default_deferrable 设置为 True 来覆盖)

  • poke_interval (int) – 轮询作业状态的间隔时间（以秒为单位）。(默认：120)

  • max_retries (int) – 返回当前状态之前的重试次数。(默认：60)

  • aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

  • region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

  • verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – botocore 客户端的配置字典（键值对）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

SUCCESS_STATES = ('SUCCEEDED',)[源代码]
FAILURE_STATES = ('FAILED', 'STOPPED', 'STOPPING', 'TIMEOUT')[源代码]
aws_hook_class[源代码]
template_fields: collections.abc.Sequence[str][源代码]
execute(context)[源代码]

在创建操作符时派生。

Context 是与渲染 jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event=None)[源代码]
poke(context)[源代码]

在派生此类时重写。

此条目是否有帮助？