将数据从 Amazon S3 传输到 Google Cloud Storage¶

Google Cloud Storage (GCS) 用于存储来自各种应用程序的大量数据。这与 Amazon Simple Storage Service 相同。此页面展示了如何将数据从 Amazon S3 传输到 GCS。

先决条件任务¶

要使用这些操作符，您必须执行以下操作

使用 Cloud Console 选择或创建 Cloud Platform 项目。

为您的项目启用结算，如 Google Cloud 文档中所述。

启用 API，如 Cloud Console 文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关详细信息，请参阅安装。
设置 Google Cloud 连接.

使用 S3ToGCSOperator 将数据从 Amazon S3 传输到 Google Cloud Storage。

可以使用可延迟模式异步启动 S3ToGCSOperator。为此，只需在操作员调用中添加参数 deferrable=True。它将在后台将数据传输委托给 Google Cloud Storage 传输服务。通过更改参数 poll_interval=10，您可以控制轮询传输作业状态的频率。

参考¶

有关更多信息，请参阅