`airflow.providers.google.cloud.sensors.dataproc`¶

此模块包含一个 Dataproc 作业传感器。

模块内容¶

类¶

`DataprocJobSensor`	检查先前提交的 Dataproc 作业的状态。
`DataprocBatchSensor`	检查批处理的状态。

class airflow.providers.google.cloud.sensors.dataproc.DataprocJobSensor(*, dataproc_job_id, region, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', wait_timeout=None, **kwargs)[源代码]¶

基类：airflow.sensors.base.BaseSensorOperator

检查先前提交的 Dataproc 作业的状态。

参数

dataproc_job_id (str) – 要轮询的 Dataproc 作业 ID。（已模板化）
region (str) – 必需。处理请求的 Cloud Dataproc 区域。（已模板化）
project_id (str) – 要在其中创建集群的 Google 云项目的 ID。（已模板化）
gcp_conn_id (str) – 用于连接到 Google Cloud Platform 的连接 ID。
wait_timeout (int | None) – 等待作业准备就绪的秒数。

template_fields: collections.abc.Sequence[str] = ('project_id', 'region', 'dataproc_job_id')[源代码]¶

ui_color = '#f0eee4'[源代码]¶

execute(context)[源代码]¶

在创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

poke(context)[源代码]¶

派生此类时重写。

class airflow.providers.google.cloud.sensors.dataproc.DataprocBatchSensor(*, batch_id, region, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', wait_timeout=None, **kwargs)[源代码]¶