将数据从本地文件系统上传到 Google Cloud Storage¶

Google Cloud Storage (GCS) 用于存储来自各种应用程序的大量数据。此页面展示了如何将数据从本地文件系统上传到 GCS。

先决任务¶

要使用这些操作符，您必须执行以下操作

使用 Cloud 控制台选择或创建 Cloud Platform 项目。

为您的项目启用帐单，如 Google Cloud 文档中所述。

启用 API，如 Cloud 控制台文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关安装的详细信息，请访问此处。
设置 Google Cloud 连接.

LocalFilesystemToGCSOperator¶

LocalFilesystemToGCSOperator 允许您将数据从本地文件系统上传到 GCS。

当您使用此操作员时，您可以选择压缩正在上传的数据。

以下是使用此操作员将文件上传到 GCS 的示例。

tests/system/providers/google/cloud/gcs/example_gcs_upload_download.py[源代码]

    upload_file = LocalFilesystemToGCSOperator(
        task_id="upload_file",
        src=UPLOAD_FILE_PATH,
        dst=FILE_NAME,
        bucket=BUCKET_NAME,
    )

参考¶

有关更多信息，请查看

Google Cloud Storage 文档