将数据从 Google Cloud Storage 下载到本地文件系统¶

Google Cloud Storage (GCS) 用于存储来自各种应用程序的大量数据。此页面展示了如何将数据从 GCS 下载到本地文件系统。

先决任务¶

要使用这些运算符，您必须执行以下操作

使用 Cloud Console 选择或创建一个 Cloud Platform 项目。

为您的项目启用结算，如 Google Cloud 文档中所述。

启用 API，如 Cloud Console 文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关安装的详细信息，请访问。
设置 Google Cloud 连接.

GCSToLocalFilesystemOperator¶

GCSToLocalFilesystemOperator 允许您将数据从 GCS 下载到本地文件系统。

以下是使用此运算符从 GCS 下载文件的一个示例。

tests/system/providers/google/cloud/gcs/example_gcs_upload_download.py[源代码]

    download_file = GCSToLocalFilesystemOperator(
        task_id="download_file",
        object_name=FILE_NAME,
        bucket=BUCKET_NAME,
        filename=PATH_TO_SAVED_FILE,
    )

参考¶

有关更多信息，请参阅

Google Cloud Storage 文档