`airflow.providers.amazon.aws.operators.glue_databrew`¶

模块内容¶

类¶

GlueDataBrewStartJobOperator

启动一个 AWS Glue DataBrew 作业。

class airflow.providers.amazon.aws.operators.glue_databrew.GlueDataBrewStartJobOperator(job_name, wait_for_completion=True, delay=None, waiter_delay=30, waiter_max_attempts=60, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[源代码]¶

基类: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.glue_databrew.GlueDataBrewHook]

启动一个 AWS Glue DataBrew 作业。

AWS Glue DataBrew 是一种可视化数据准备工具，可让数据分析师和数据科学家更轻松地清理和规范化数据，以便为分析和机器学习 (ML) 做准备。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：启动 AWS Glue DataBrew 作业

参数

job_name (str) – 每个 AWS 账户唯一的作业名称
wait_for_completion (bool) – 是否等待作业运行完成。（默认值：True）
deferrable (bool) – 如果为 True，操作符将异步等待作业完成。这意味着等待完成。此模式需要安装 aiobotocore 模块。（默认值：False）
waiter_delay (int) – 状态检查之间等待的时间（以秒为单位）。默认值为 30。
waiter_max_attempts (int) – 检查作业完成情况的最大尝试次数。（默认值：60）
aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果此项为 None 或为空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 并且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。
region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

返回值

带有键 run_id 和生成的作业的 run_id 值的字典。

aws_hook_class[源代码]¶

template_fields: collections.abc.Sequence[str][源代码]¶

execute(context)[源代码]¶

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event=None)[源代码]¶

airflow.providers.amazon.aws.operators.glue_databrew¶

模块内容¶

类¶

`airflow.providers.amazon.aws.operators.glue_databrew`¶