Amazon S3 Glacier¶

Amazon Glacier 是一款安全、耐用且极其低成本的 Amazon S3 云存储类别，用于数据归档和长期备份。

先决任务¶

若要使用这些操作符，您必须执行以下操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细的信息可在 Airflow™ 安装中找到
设置连接.

通用参数¶

aws_conn_id

引用 Amazon Web Services 连接 ID。如果此参数设置为 None，则使用默认 boto3 行为，不查找连接。否则，使用存储在连接中的凭据。默认值：aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则将使用 AWS 连接额外参数中的 region_name。否则，使用指定的值代替连接值。默认值：None

验证

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书包的文件名。如果您想使用与 botocore 使用的 CA 证书包不同的证书包，则可以指定此参数。

如果此参数设置为 None 或省略，则将使用 AWS 连接额外参数中的 verify。否则，使用指定的值代替连接值。默认值：None

botocore_config

提供的字典用于构建 botocore.config.Config。此配置可用于配置避免节流异常、超时等。

示例，有关参数的更多详细信息，请参阅 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则将使用 AWS 连接额外参数中的 config_kwargs。否则，使用指定的值代替连接值。默认值：None

注意

指定一个空字典 {} 将覆盖 botocore.config.Config 的连接配置

操作符¶

创建 Amazon Glacier 作业¶

要启动 Amazon Glacier 清单检索作业，请使用 GlacierCreateJobOperator

此操作员返回与已启动作业相关的信息字典，例如 jobId，后续任务需要此信息。

tests/system/providers/amazon/aws/example_glacier_to_gcs.py[源代码]

create_glacier_job = GlacierCreateJobOperator(task_id="create_glacier_job", vault_name=vault_name)
JOB_ID = '{{ task_instance.xcom_pull("create_glacier_job")["jobId"] }}'

将存档上传到 Amazon Glacier¶

要将存档添加到 Amazon S3 Glacier 保管库，请使用 GlacierUploadArchiveOperator

tests/system/providers/amazon/aws/example_glacier_to_gcs.py[源代码]

upload_archive_to_glacier = GlacierUploadArchiveOperator(
    task_id="upload_data_to_glacier", vault_name=vault_name, body=b"Test Data"
)

传感器¶

等待 Amazon Glacier 作业状态¶

要等待 Amazon Glacier 作业的状态达到终止状态，请使用 GlacierJobOperationSensor

tests/system/providers/amazon/aws/example_glacier_to_gcs.py[源代码]

wait_for_operation_complete = GlacierJobOperationSensor(
    vault_name=vault_name,
    job_id=JOB_ID,
    task_id="wait_for_operation_complete",
)

参考¶

Amazon Glacier 的 AWS boto3 库文档