Azure Blob 存储到 Google Cloud Storage (GCS) 传输算子¶

Google Cloud Storage (GCS) 用于存储来自各种应用程序的大量数据。这与 Azure Blob 存储相同。此页面展示了如何将数据从 Azure Blob 存储传输到 GCS。

先决条件任务¶

要使用这些算子，你必须执行以下操作

使用 Cloud 控制台选择或创建 Cloud Platform 项目。

为你的项目启用结算，如 Google Cloud 文档中所述。

启用 API，如 Cloud 控制台文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关安装的详细信息，请访问此处。
设置 Google Cloud 连接.

将数据从 Azure Blob 存储传输到 Google Cloud Storage¶

算子将数据从 Azure Blob 存储传输到 Google Cloud Storage 中指定的存储分区

使用 AzureBlobStorageToGCSOperator 将数据从 Azure Blob 存储传输到 Google Cloud Storage。

示例用法

tests/system/providers/google/cloud/azure/example_azure_blob_to_gcs.py[源代码]

    transfer_files_to_gcs = AzureBlobStorageToGCSOperator(
        task_id="transfer_files_to_gcs",
        # azure args
        container_name=AZURE_CONTAINER_NAME,
        blob_name=BLOB_NAME,
        # GCP args
        bucket_name=GCP_BUCKET_NAME,
        object_name=GCP_OBJECT_NAME,
        filename=GCP_BUCKET_FILE_PATH,
        gzip=False,
        impersonation_chain=None,
    )

参考¶

有关详细信息，请参阅