airflow.providers.google.cloud.sensors.dataform

此模块包含一个 Google Cloud Dataform 传感器。

模块内容

DataformWorkflowInvocationStateSensor

检查 Google Cloud Dataform 中工作流调用的状态。

DataformWorkflowInvocationActionStateSensor

检查 Google Cloud Dataform 中工作流调用操作的状态。

class airflow.providers.google.cloud.sensors.dataform.DataformWorkflowInvocationStateSensor(*, project_id, region, repository_id, workflow_invocation_id, expected_statuses, failure_statuses=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]

基类: airflow.sensors.base.BaseSensorOperator

检查 Google Cloud Dataform 中工作流调用的状态。

参数
  • project_id (str) – 必需,用于启动作业的 Google Cloud 项目 ID。如果设置为 None 或缺失,则使用 Google Cloud 连接中的默认 project_id。

  • region (str) – 必需,Dataform 工作流调用的位置(例如 europe-west1)。

  • repository_id (str) – 必需。任务所属的 Dataform 存储库的 ID。

  • workflow_invocation_id (str) – 必需,要检查的工作流调用的 ID。

  • expected_statuses (set[int] | int) – 操作的预期状态。请参阅: https://cloud.google.com/python/docs/reference/dataform/latest/google.cloud.dataform_v1beta1.types.WorkflowInvocation.State

  • failure_statuses (collections.abc.Iterable[int] | None) – 将导致传感器异常终止的状态

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的链式帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须授予发起帐户服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的身份必须将服务帐户令牌创建者 IAM 角色授予直接前一个身份,列表中的第一个帐户将此角色授予发起帐户(可模板化)。

template_fields: collections.abc.Sequence[str] = ('workflow_invocation_id',)[源代码]
poke(context)[源代码]

在派生此类时覆盖。

class airflow.providers.google.cloud.sensors.dataform.DataformWorkflowInvocationActionStateSensor(*, project_id, region, repository_id, workflow_invocation_id, target_name, expected_statuses, failure_statuses, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]

基类: airflow.sensors.base.BaseSensorOperator

检查 Google Cloud Dataform 中工作流调用操作的状态。

参数
  • project_id (str) – 必需,用于启动作业的 Google Cloud 项目 ID。如果设置为 None 或缺失,则使用 Google Cloud 连接中的默认 project_id。

  • region (str) – 必需,Dataform 工作流调用的位置(例如 europe-west1)。

  • repository_id (str) – 必需。任务所属的 Dataform 存储库的 ID。

  • workflow_invocation_id (str) – 必需,要检查的工作流调用的 ID。

  • target_name (str) – 必需。要在工作流中检查的目标的名称。

  • expected_statuses (collections.abc.Iterable[int]) – 操作的预期状态。请参阅: https://cloud.google.com/python/docs/reference/dataform/latest/google.cloud.dataform_v1beta1.types.WorkflowInvocationAction.State

  • failure_statuses (collections.abc.Iterable[int]) – 将导致传感器异常终止的状态

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的链式帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须授予发起帐户服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的身份必须将服务帐户令牌创建者 IAM 角色授予直接前一个身份,列表中的第一个帐户将此角色授予发起帐户(可模板化)。

template_fields: collections.abc.Sequence[str] = ('workflow_invocation_id',)[源代码]
poke(context)[源代码]

在派生此类时覆盖。

此条目是否有帮助?