Apache Pinot 钩子¶

Apache Pinot 是一个面向列的开源分布式数据存储，用 Java 编写。Pinot 旨在以低延迟执行 OLAP 查询。它适用于需要对不可变数据（可能是实时数据摄取）进行快速分析（例如聚合）的情况。

先决条件¶

PinotAdminHook¶

此钩子是 pinot-admin.sh 脚本的包装器，该脚本用于管理 Pinot 集群，由 Apache Pinot 发行版提供。目前，仅实现了其子命令的一小部分，这些子命令是将离线数据摄取到 Apache Pinot 所需的（即 AddSchema、AddTable、CreateSegment 和 UploadSegment）。它们的命令选项基于 Pinot v0.1.0。

参数¶

有关参数定义，请查看 PinotAdminHook

tests/system/providers/apache/pinot/example_pinot_dag.py[源代码]

@task
def pinot_admin():
    PinotAdminHook(conn_id="pinot_admin_default", cmd_path="pinot-admin.sh", pinot_admin_system_exit=True)

参考¶

有关更多信息，请参阅 Apache Pinot 改进（针对 PinotAdminHook） <https://pinot.apache.org/> 的文档

PinotDbApiHook¶

此钩子使用标准 SQL 端点，因为 PQL 端点即将弃用。

参数¶

有关参数定义，请查看 PinotDbApiHook

tests/system/providers/apache/pinot/example_pinot_dag.py[源代码]

@task
def pinot_dbi_api():
    PinotDbApiHook(
        task_id="run_example_pinot_script",
        pinot="ls /;",
        pinot_options="-x local",
    )

参考¶

有关更多信息，请参阅 Pinot 查询数据 <https://docs.pinot.apache.org/users/api/querying-pinot-using-standard-sql> 的文档