Google Cloud Storage 到 Presto 传输操作符¶

Google 有一项服务叫做 Google Cloud Storage。此服务用于存储来自各种应用程序的大量数据。

Presto 是一个开源的分布式 SQL 查询引擎，用于对大小从 GB 到 PB 不等的各种数据源运行交互式分析查询。Presto 允许查询数据所在的位置，包括 Hive、Cassandra、关系数据库甚至专有数据存储。单个 Presto 查询可以组合来自多个来源的数据，从而可以对整个组织进行分析。

将 CSV 从 GCS 加载到 Presto 表¶

要将 CSV 文件从 Google Cloud Storage 加载到 Presto 表，可以使用 GCSToPrestoOperator。

此操作符假定 CSV 没有标题，并且数据对应于预先存在的 presto 表中的列。可以选择提供架构作为字符串的元组/列表，或作为指向与 CSV 文件位于同一存储桶中的 JSON 文件的路径。

tests/system/providers/presto/example_gcs_to_presto.py[来源]

gcs_csv_to_presto_table = GCSToPrestoOperator(
    task_id="gcs_csv_to_presto_table",
    source_bucket=BUCKET,
    source_object=PATH_TO_FILE,
    presto_table=PRESTO_TABLE,
)