Postgres 到 Google Cloud Storage 算子¶

Google Cloud Storage (GCS) 服务用于存储来自各种应用程序的大数据。此页面展示了如何将数据从 Postgres 复制到 GCS。

先决任务¶

要使用这些算子，您必须执行以下操作

使用 Cloud 控制台选择或创建 Cloud Platform 项目。

为您的项目启用结算，如 Google Cloud 文档中所述。

启用 API，如 Cloud 控制台文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关安装的详细信息，请参阅。
设置 Google Cloud 连接.

PostgresToGCSOperator¶

PostgresToGCSOperator允许你将数据从 Postgres 数据库上传到 GCS。

当你使用此操作符时，你可以选择将要上传的数据压缩为 gzip 格式。

下面是使用此操作符将数据上传到 GCS 的示例。

tests/system/providers/google/cloud/transfers/example_postgres_to_gcs.py[源代码]

    postgres_to_gcs = PostgresToGCSOperator(
        task_id="postgres_to_gcs",
        postgres_conn_id=CONNECTION_ID,
        sql=SQL_SELECT,
        bucket=BUCKET_NAME,
        filename=FILE_NAME,
        export_format="csv",
    )

参考¶

有关更多信息，请查看：* Google Cloud Storage 文档