AWS CloudFormation¶

AWS CloudFormation 使您能够可预测且重复地创建和预置 AWS 基础设施部署。它帮助您利用 Amazon EC2、Amazon Elastic Block Store、Amazon SNS、Elastic Load Balancing 和 Auto Scaling 等 AWS 产品在云中构建高可靠、高可扩展、经济高效的应用程序，而无需担心创建和配置底层 AWS 基础设施。AWS CloudFormation 使您可以使用模板文件将资源集合作为一个单元（一个堆栈）创建和删除。

先决任务¶

要使用这些 Operator，您需要完成几项任务

使用 AWS Console 或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅安装 Airflow®
设置连接.

通用参数¶

aws_conn_id

Amazon Web Services 连接 ID 的引用。如果此参数设置为 None，则使用默认的 boto3 行为，不进行连接查找。否则，使用 Connection 中存储的凭证。默认值: aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则使用 AWS 连接 Extra Parameter 中的 region_name。否则，使用指定的值而不是连接值。默认值: None

verify

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书捆绑包的文件名。如果您想使用与 botocore 使用的不同的 CA 证书捆绑包，可以指定此参数。

如果此参数设置为 None 或省略，则使用 AWS 连接 Extra Parameter 中的 verify。否则，使用指定的值而不是连接值。默认值: None

botocore_config

提供的字典用于构建 botocore.config.Config。此配置可用于配置避免限流异常、超时等。

示例，有关参数的更多详细信息，请参阅 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则使用 AWS 连接 Extra Parameter 中的 config_kwargs。否则，使用指定的值而不是连接值。默认值: None

注意

指定一个空字典 {} 将覆盖 botocore.config.Config 的连接配置。

Operator¶

创建 AWS CloudFormation 堆栈¶

要创建新的 AWS CloudFormation 堆栈，请使用 CloudFormationCreateStackOperator。

tests/system/amazon/aws/example_cloudformation.py

create_stack = CloudFormationCreateStackOperator(
    task_id="create_stack",
    stack_name=cloudformation_stack_name,
    cloudformation_parameters=cloudformation_create_parameters,
)

删除 AWS CloudFormation 堆栈¶

要删除 AWS CloudFormation 堆栈，您可以使用 CloudFormationDeleteStackOperator。

tests/system/amazon/aws/example_cloudformation.py

delete_stack = CloudFormationDeleteStackOperator(
    task_id="delete_stack",
    stack_name=cloudformation_stack_name,
)

Sensor¶

等待 AWS CloudFormation 堆栈创建状态¶

要等待 AWS CloudFormation 堆栈创建的状态直到其达到终端状态，您可以使用 CloudFormationCreateStackSensor

tests/system/amazon/aws/example_cloudformation.py

wait_for_stack_create = CloudFormationCreateStackSensor(
    task_id="wait_for_stack_create",
    stack_name=cloudformation_stack_name,
)

等待 AWS CloudFormation 堆栈删除状态¶

要等待 AWS CloudFormation 堆栈删除的状态直到其达到终端状态，您可以使用 CloudFormationDeleteStackSensor

tests/system/amazon/aws/example_cloudformation.py

wait_for_stack_delete = CloudFormationDeleteStackSensor(
    task_id="wait_for_stack_delete",
    stack_name=cloudformation_stack_name,
)

参考¶

适用于 CloudFormation 的 AWS boto3 库文档