AWS Batch¶

AWS Batch 使您能够在 AWS 云上运行批量计算工作负载。批量计算是开发人员、科学家和工程师访问大量计算资源的常用方式。AWS Batch 消除了配置和管理所需基础设施的繁重工作。

前提条件任务¶

要使用这些运算符，您需要做几件事：

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息可在安装 Airflow® 中找到
设置连接.

通用参数¶

aws_conn_id

Amazon Web Services 连接 ID 的引用。如果此参数设置为 None，则使用默认的 boto3 行为，而不进行连接查找。否则使用连接中存储的凭据。默认值：aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则将使用 AWS Connection Extra Parameter 中的 region_name。否则使用指定的值而不是连接值。默认值：None

verify

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书包的文件名。如果您想使用与 botocore 使用的不同的 CA 证书包，可以指定此参数。

如果此参数设置为 None 或省略，则将使用 AWS Connection Extra Parameter 中的 verify。否则使用指定的值而不是连接值。默认值：None

botocore_config

提供的字典用于构造一个 botocore.config.Config。此配置可用于配置避免限制异常、超时等。

示例，有关参数的更多详细信息，请参阅 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则将使用 AWS Connection Extra Parameter 中的 config_kwargs。否则使用指定的值而不是连接值。默认值：None

注意

指定一个空字典 {} 将覆盖 botocore.config.Config 的连接配置。