Google Cloud Storage 到 Amazon S3 传输操作符¶

使用 GCSToS3Operator 传输操作符将数据从 Google Cloud Storage 复制到 Amazon Simple Storage Service (S3)。

先决条件任务¶

要使用这些操作符，您必须执行以下几项操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参考Airflow® 的安装
设置连接.

操作符¶

Google Cloud Storage 到 Amazon S3¶

要将数据从 Google Cloud Storage 存储桶复制到 Amazon S3 存储桶，您可以使用 GCSToS3Operator

使用示例

tests/system/amazon/aws/example_gcs_to_s3.py

gcs_to_s3 = GCSToS3Operator(
    task_id="gcs_to_s3",
    gcs_bucket=gcs_bucket,
    dest_s3_key=f"s3://{s3_bucket}/{s3_key}",
    replace=True,
    gcp_user_project=gcp_user_project,
)

参考¶

此条目是否有帮助？