airflow.providers.google.cloud.operators.workflows

模块内容

WorkflowsCreateWorkflowOperator

创建一个新的工作流。

WorkflowsUpdateWorkflowOperator

更新现有工作流。

WorkflowsDeleteWorkflowOperator

删除具有指定名称的工作流以及该工作流的所有正在运行的执行。

WorkflowsListWorkflowsOperator

列出给定项目和位置中的工作流;默认顺序未指定。

WorkflowsGetWorkflowOperator

获取单个工作流的详细信息。

WorkflowsCreateExecutionOperator

使用给定工作流的最新版本创建新的执行。

WorkflowsCancelExecutionOperator

使用给定的 workflow_idexecution_id 取消执行。

WorkflowsListExecutionsOperator

返回属于具有给定名称的工作流的执行列表。

WorkflowsGetExecutionOperator

返回给定 workflow_idexecution_id 的执行。

class airflow.providers.google.cloud.operators.workflows.WorkflowsCreateWorkflowOperator(*, workflow, workflow_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', force_rerun=False, impersonation_chain=None, **kwargs)[源代码]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建一个新的工作流。

如果具有指定名称的工作流已存在于指定的项目和位置中,则长时间运行的操作将返回 [ALREADY_EXISTS][google.rpc.Code.ALREADY_EXISTS] 错误。

另请参阅

有关如何使用此操作符的更多信息,请查看指南: 创建工作流

参数
  • workflow (dict) – 必需。要创建的工作流。

  • workflow_id (str) – 必需。要创建的工作流的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(以秒为单位)。请注意,如果指定了 retry,则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

template_fields: collections.abc.Sequence[str] = ('location', 'workflow', 'workflow_id')[源代码]
template_fields_renderers[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与呈现 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.workflows.WorkflowsUpdateWorkflowOperator(*, workflow_id, location, project_id=PROVIDE_PROJECT_ID, update_mask=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

更新现有工作流。

运行此方法对工作流的已在运行的执行没有影响。工作流的新修订版本可能会因成功的更新操作而创建。在这种情况下,此类修订版本将用于新的工作流执行中。

另请参阅

有关如何使用此操作符的更多信息,请查看指南: 更新工作流

参数
  • workflow_id (str) – 必需。要更新的工作流的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • update_mask (google.protobuf.field_mask_pb2.FieldMask | None) – 要更新的字段列表。如果不存在,则将更新整个工作流。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(以秒为单位)。请注意,如果指定了 retry,则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

template_fields: collections.abc.Sequence[str] = ('workflow_id', 'update_mask')[source]
template_fields_renderers[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.workflows.WorkflowsDeleteWorkflowOperator(*, workflow_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除具有指定名称的工作流以及该工作流的所有正在运行的执行。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:删除工作流

参数
  • workflow_id (str) – 必需。要创建的工作流的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(以秒为单位)。请注意,如果指定了 retry,则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

template_fields: collections.abc.Sequence[str] = ('location', 'workflow_id')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.workflows.WorkflowsListWorkflowsOperator(*, location, project_id=PROVIDE_PROJECT_ID, filter_=None, order_by=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出给定项目和位置中的工作流;默认顺序未指定。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:列出工作流

参数
  • filter – 用于限制结果为特定工作流的过滤器。

  • order_by (str | None) – 以逗号分隔的字段列表,用于指定结果的顺序。字段的默认排序顺序是升序。要指定字段的降序,请附加一个“desc”后缀。如果未指定,则将以未指定的顺序返回结果。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(以秒为单位)。请注意,如果指定了 retry,则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

template_fields: collections.abc.Sequence[str] = ('location', 'order_by', 'filter_')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.workflows.WorkflowsGetWorkflowOperator(*, workflow_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取单个工作流的详细信息。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:获取工作流

参数
  • workflow_id (str) – 必需。要创建的工作流的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(以秒为单位)。请注意,如果指定了 retry,则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

template_fields: collections.abc.Sequence[str] = ('location', 'workflow_id')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.workflows.WorkflowsCreateExecutionOperator(*, workflow_id, execution, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

使用给定工作流的最新版本创建新的执行。

另请参阅

有关如何使用此操作符的更多信息,请查看以下指南:创建执行

参数
  • execution (dict) – 必需。要创建的执行。

  • workflow_id (str) – 必需。工作流的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(以秒为单位)。请注意,如果指定了 retry,则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

template_fields: collections.abc.Sequence[str] = ('location', 'workflow_id', 'execution')[source]
template_fields_renderers[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.workflows.WorkflowsCancelExecutionOperator(*, workflow_id, execution_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

使用给定的 workflow_idexecution_id 取消执行。

另请参阅

有关如何使用此操作符的更多信息,请查看以下指南:取消执行

参数
  • workflow_id (str) – 必需。工作流的 ID。

  • execution_id (str) – 必需。执行的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(以秒为单位)。请注意,如果指定了 retry,则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

template_fields: collections.abc.Sequence[str] = ('location', 'workflow_id', 'execution_id')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.workflows.WorkflowsListExecutionsOperator(*, workflow_id, location, start_date_filter=None, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

返回属于具有给定名称的工作流的执行列表。

该方法返回所有工作流修订版本的执行。返回的执行按其开始时间排序(最新的排在最前面)。

另请参阅

有关如何使用此操作符的更多信息,请查看以下指南:列出执行

参数
  • workflow_id (str) – 必需。要创建的工作流的 ID。

  • start_date_filter (datetime.datetime | None) – 如果传入,则只会返回早于此日期的执行。默认情况下,操作符返回过去 60 分钟内的执行。请注意,datetime 对象必须指定时区,例如 datetime.timezone.utc

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(以秒为单位)。请注意,如果指定了 retry,则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

template_fields: collections.abc.Sequence[str] = ('location', 'workflow_id')[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与呈现 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.workflows.WorkflowsGetExecutionOperator(*, workflow_id, execution_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

返回给定 workflow_idexecution_id 的执行。

另请参阅

有关如何使用此操作符的更多信息,请查看指南:获取执行

参数
  • workflow_id (str) – 必需。工作流的 ID。

  • execution_id (str) – 必需。执行的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(以秒为单位)。请注意,如果指定了 retry,则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

template_fields: collections.abc.Sequence[str] = ('location', 'workflow_id', 'execution_id')[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与呈现 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

此条目是否有帮助?