亚马逊简单队列服务 (SQS)¶

亚马逊简单队列服务 (SQS) 是一项完全托管的消息队列服务，使您能够解耦和扩展微服务、分布式系统和无服务器应用程序。SQS 消除了与管理和操作面向消息的中间件相关的复杂性和开销，并使开发人员能够专注于差异化工作。使用 SQS，您可以在软件组件之间发送、存储和接收任何数量的消息，而不会丢失消息或要求其他服务可用。

先决条件任务¶

要使用这些操作符，您必须执行以下操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow™ 安装
设置连接.

通用参数¶

aws_conn_id

对 Amazon Web Services 连接 ID 的引用。如果此参数设置为 None，则使用默认的 boto3 行为，不进行连接查找。否则，使用存储在连接中的凭据。默认值：aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则将使用 AWS 连接额外参数中的 region_name。否则，使用指定的值而不是连接值。默认值：None

verify

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书包的文件名。如果您想使用与 botocore 使用的不同 CA 证书包，则可以指定此参数。

如果此参数设置为 None 或省略，则将使用 AWS 连接额外参数中的 verify。否则，使用指定的值而不是连接值。默认值：None

botocore_config

提供的字典用于构造 botocore.config.Config。此配置可用于配置避免限流异常、超时等。

示例，有关参数的更多详细信息，请查看 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则将使用 AWS 连接额外参数中的 config_kwargs。否则，使用指定的值而不是连接值。默认值：None

注意

指定空字典 {} 将覆盖 botocore.config.Config 的连接配置

操作符¶

将消息发布到 Amazon SQS 队列¶

要将消息发布到 Amazon SQS 队列，您可以使用 SqsPublishOperator

在以下示例中，任务 publish_to_queue 将包含任务实例和执行日期的消息发布到默认名称为 Airflow-Example-Queue 的队列。

tests/system/providers/amazon/aws/example_sqs.py[源代码]

publish_to_queue_1 = SqsPublishOperator(
    task_id="publish_to_queue_1",
    sqs_queue=sqs_queue,
    message_content="{{ task_instance }}-{{ logical_date }}",
)
publish_to_queue_2 = SqsPublishOperator(
    task_id="publish_to_queue_2",
    sqs_queue=sqs_queue,
    message_content="{{ task_instance }}-{{ logical_date }}",
)

传感器¶

从 Amazon SQS 队列读取消息¶

要从 Amazon SQS 队列读取消息直到队列为空，请使用 SqsSensor。通过将 deferrable 参数设置为 True，也可以在可延迟模式下运行此传感器。

tests/system/providers/amazon/aws/example_sqs.py[源代码]

read_from_queue = SqsSensor(
    task_id="read_from_queue",
    sqs_queue=sqs_queue,
)
# Retrieve multiple batches of messages from SQS.
# The SQS API only returns a maximum of 10 messages per poll.
read_from_queue_in_batch = SqsSensor(
    task_id="read_from_queue_in_batch",
    sqs_queue=sqs_queue,
    # Get maximum 10 messages each poll
    max_messages=10,
    # Combine 3 polls before returning results
    num_batches=3,
)

参考¶

SQS 的 AWS boto3 库文档