Google Cloud Looker 运算符

Looker 是一款商业智能软件和大数据分析平台,可帮助您轻松探索、分析和共享实时业务分析。

Looker 拥有公共 API 和不同语言的关联 SDK 客户端,支持通过编程方式访问 Looker 数据平台。

更多信息请访问 Looker API 文档

前提任务

要使用这些运算符,您必须执行以下操作:

  • 通过 pip 安装 API 库。

pip install 'apache-airflow[google]'

有关 安装 的详细信息。

启动 PDT 实体化作业

要向 Looker 提交 PDT 实体化作业,您需要提供模型名称和视图名称。

作业配置可以使用以下方式以同步(阻塞)模式提交:LookerStartPdtBuildOperator

tests/system/google/cloud/looker/example_looker.py

build_pdt_task = LookerStartPdtBuildOperator(
    task_id="build_pdt_task",
    looker_conn_id=LOOKER_CONNECTION_ID,
    model=LOOKER_MODEL,
    view=LOOKER_VIEW,
)

或者,作业配置可以使用以下方式以异步模式提交:LookerStartPdtBuildOperatorLookerCheckPdtBuildSensor

tests/system/google/cloud/looker/example_looker.py

start_pdt_task_async = LookerStartPdtBuildOperator(
    task_id="start_pdt_task_async",
    looker_conn_id=LOOKER_CONNECTION_ID,
    model=LOOKER_MODEL,
    view=LOOKER_VIEW,
    asynchronous=True,
)

check_pdt_task_async_sensor = LookerCheckPdtBuildSensor(
    task_id="check_pdt_task_async_sensor",
    looker_conn_id=LOOKER_CONNECTION_ID,
    materialization_id=start_pdt_task_async.output,
    poke_interval=10,
)

作业中需要提供的参数比示例所示的更多。有关完整的参数列表,请参阅 airflow.providers.google.cloud.operators.looker.LookerStartPdtBuildOperator 中的 Looker 运算符参数。

此条目是否有帮助?