Google Cloud Looker 算子¶

Looker 是一款商业智能软件和大数据分析平台，可帮助您轻松探索、分析和共享实时商业分析。

Looker 具有公共 API 和不同语言的相关 SDK 客户端，允许以编程方式访问 Looker 数据平台。

有关更多信息，请访问 Looker API 文档。

先决任务¶

要使用这些算子，您必须执行以下操作

通过 pip 安装 API 库。

pip install 'apache-airflow[google]'

有关详细信息，请访问安装。

在 Airflow 中设置 Looker 连接。您可以查看管理连接和 Google Cloud Platform Looker 连接

启动 PDT 物化作业¶

要向 Looker 提交 PDT 物化作业，您需要提供模型和视图名称。

作业配置可以通过使用以下方式以同步（阻塞）模式提交：LookerStartPdtBuildOperator。

airflow/providers/google/cloud/example_dags/example_looker.py[源代码]

build_pdt_task = LookerStartPdtBuildOperator(
    task_id="build_pdt_task",
    looker_conn_id="your_airflow_connection_for_looker",
    model="your_lookml_model",
    view="your_lookml_view",
)

或者，可以通过使用以下方式以异步模式提交作业配置：LookerStartPdtBuildOperator 和 LookerCheckPdtBuildSensor。

airflow/providers/google/cloud/example_dags/example_looker.py[源代码]

start_pdt_task_async = LookerStartPdtBuildOperator(
    task_id="start_pdt_task_async",
    looker_conn_id="your_airflow_connection_for_looker",
    model="your_lookml_model",
    view="your_lookml_view",
    asynchronous=True,
)

check_pdt_task_async_sensor = LookerCheckPdtBuildSensor(
    task_id="check_pdt_task_async_sensor",
    looker_conn_id="your_airflow_connection_for_looker",
    materialization_id=start_pdt_task_async.output,
    poke_interval=10,
)

作业中需要提供的参数比示例中显示的多。有关参数的完整列表，请查看 airflow.providers.google.cloud.operators.looker.LookerStartPdtBuildOperator 中的 Looker 运算符参数