Amazon S3 Glacier 到 GCS¶

Amazon Glacier 是一种安全、持久且成本极低的 Amazon S3 云存储类，适用于数据归档和长期备份。

先决条件任务¶

要使用这些操作符，您需要执行以下操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow™ 安装
设置连接.

操作符¶

Amazon S3 Glacier 到 GCS 传输操作符¶

要将数据从 Amazon Glacier 保险库传输到 Google Cloud Storage，您可以使用 GlacierToGCSOperator

tests/system/providers/amazon/aws/example_glacier_to_gcs.py[源代码]

transfer_archive_to_gcs = GlacierToGCSOperator(
    task_id="transfer_archive_to_gcs",
    vault_name=vault_name,
    bucket_name=gcs_bucket_name,
    object_name=gcs_object_name,
    gzip=False,
    # Override to match your needs
    # If chunk size is bigger than actual file size
    # then whole file will be downloaded
    chunk_size=1024,
)

注意

请注意，GlacierToGCSOperator 依赖于可用内存。传输大文件可能会耗尽工作主机上的内存。

Amazon S3 Glacier 到 GCS¶

先决条件任务¶

操作符¶

Amazon S3 Glacier 到 GCS 传输操作符¶

参考¶