Google Cloud Looker 运算符¶
Looker 是一款商业智能软件和大数据分析平台,可帮助您轻松探索、分析和共享实时业务分析。
Looker 拥有公共 API 和不同语言的关联 SDK 客户端,支持通过编程方式访问 Looker 数据平台。
更多信息请访问 Looker API 文档。
前提任务¶
要使用这些运算符,您必须执行以下操作:
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关 安装 的详细信息。
在 Airflow 中设置 Looker 连接。您可以查看 管理连接 和 Google Cloud Platform Looker 连接
启动 PDT 实体化作业¶
要向 Looker 提交 PDT 实体化作业,您需要提供模型名称和视图名称。
作业配置可以使用以下方式以同步(阻塞)模式提交:LookerStartPdtBuildOperator
。
tests/system/google/cloud/looker/example_looker.py
build_pdt_task = LookerStartPdtBuildOperator(
task_id="build_pdt_task",
looker_conn_id=LOOKER_CONNECTION_ID,
model=LOOKER_MODEL,
view=LOOKER_VIEW,
)
或者,作业配置可以使用以下方式以异步模式提交:LookerStartPdtBuildOperator
和 LookerCheckPdtBuildSensor
。
tests/system/google/cloud/looker/example_looker.py
start_pdt_task_async = LookerStartPdtBuildOperator(
task_id="start_pdt_task_async",
looker_conn_id=LOOKER_CONNECTION_ID,
model=LOOKER_MODEL,
view=LOOKER_VIEW,
asynchronous=True,
)
check_pdt_task_async_sensor = LookerCheckPdtBuildSensor(
task_id="check_pdt_task_async_sensor",
looker_conn_id=LOOKER_CONNECTION_ID,
materialization_id=start_pdt_task_async.output,
poke_interval=10,
)
作业中需要提供的参数比示例所示的更多。有关完整的参数列表,请参阅 airflow.providers.google.cloud.operators.looker.LookerStartPdtBuildOperator
中的 Looker 运算符参数。