airflow.providers.google.cloud.operators.kubernetes_engine

此模块包含 Google Kubernetes Engine 操作符。

模块内容

GKEClusterAuthDetails

用于获取有关集群连接信息的辅助类。

GKEOperatorMixin

GKE 操作符的 Mixin,提供正确的统一钩子创建。

GKEDeleteClusterOperator

删除集群,包括 Kubernetes 端点和所有工作节点。

GKECreateClusterOperator

创建指定尺寸的 Google Kubernetes Engine 集群,并等待集群创建完成。

GKEStartKueueInsideClusterOperator

在集群内部安装特定版本的 Kueue。

GKEStartPodOperator

在指定的 Google Kubernetes Engine 集群中的 Kubernetes pod 中执行任务。

GKEStartJobOperator

在指定的 Google Kubernetes Engine 集群中执行 Kubernetes 作业。

GKEDescribeJobOperator

检索给定名称的作业信息。

GKEListJobsOperator

检索作业列表。

GKECreateCustomResourceOperator

在指定的 Google Kubernetes Engine 集群中创建资源。

GKEDeleteCustomResourceOperator

在指定的 Google Kubernetes Engine 集群中删除资源。

GKEStartKueueJobOperator

在指定的 Google Kubernetes Engine 集群中的 Kueue 中执行 Kubernetes 作业。

GKEDeleteJobOperator

在指定的 Google Kubernetes Engine 集群中删除 Kubernetes 作业。

GKESuspendJobOperator

暂停给定名称的作业。

GKEResumeJobOperator

恢复给定名称的作业。

属性

KUBE_CONFIG_ENV_VAR

airflow.providers.google.cloud.operators.kubernetes_engine.KUBE_CONFIG_ENV_VAR = 'KUBECONFIG'[源代码]
class airflow.providers.google.cloud.operators.kubernetes_engine.GKEClusterAuthDetails(cluster_name, project_id, use_internal_ip, cluster_hook)[源代码]

用于获取有关集群连接信息的辅助类。

参数
fetch_cluster_info()[源代码]

获取用于连接的集群信息。

class airflow.providers.google.cloud.operators.kubernetes_engine.GKEOperatorMixin[源代码]

GKE 操作符的 Mixin,提供正确的统一钩子创建。

property cluster_url: str[源代码]
property ssl_ca_cert: str[源代码]
enable_tcp_keepalive = False[源代码]
template_fields: collections.abc.Sequence[str] = ('location', 'cluster_name', 'use_internal_ip', 'project_id', 'gcp_conn_id', 'impersonation_chain')[源代码]
cluster_hook()[源代码]
hook()[源代码]
cluster_info()[源代码]

获取用于连接的集群信息。

class airflow.providers.google.cloud.operators.kubernetes_engine.GKEDeleteClusterOperator(location, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, cluster_name=None, name=None, api_version='v2', deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, *args, **kwargs)[源代码]

基类:GKEOperatorMixin, airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除集群,包括 Kubernetes 端点和所有工作节点。

要删除特定集群,您必须指定 project_id、集群的 cluster_name、集群所在的 locationtask_id

操作符创建:

operator = GKEClusterDeleteOperator(
            task_id='cluster_delete',
            project_id='my-project',
            location='cluster-location'
            cluster_name='cluster-name')

另请参阅

有关如何使用此操作符的更多信息,请查看指南:删除 GKE 集群

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str | None) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

  • name (str | None) – (已弃用) 要删除的资源的名称,在本例中为集群名称。

  • api_version (str) – 要使用的 API 版本。

  • deferrable (bool) – 在可延迟模式下运行操作符。

  • poll_interval (int) – 定义检查操作状态的频率的时间间隔大小。

property name: str | None[source]
template_fields: collections.abc.Sequence[str][source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

execute_complete(context, event)[source]

在触发作业完成后执行。

class airflow.providers.google.cloud.operators.kubernetes_engine.GKECreateClusterOperator(body, location, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, api_version='v2', deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, *args, **kwargs)[source]

基类:GKEOperatorMixin, airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建指定尺寸的 Google Kubernetes Engine 集群,并等待集群创建完成。

创建集群所需的最小要求是

dict() ::

cluster_def = {“name”: “my-cluster-name”, “initial_node_count”: 1}

或者

Cluster 原型:

from google.cloud.container_v1.types import Cluster

cluster_def = Cluster(name=”my-cluster-name”, initial_node_count=1)

操作符创建:

operator = GKEClusterCreateOperator(
            task_id='cluster_create',
            project_id='my-project',
            location='my-location'
            body=cluster_def)

另请参阅

有关创建集群的更多详细信息,请参阅以下参考:google.cloud.container_v1.types.Cluster

另请参阅

有关如何使用此操作符的更多信息,请参阅以下指南:创建 GKE 集群

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

  • body (dict | google.cloud.container_v1.types.Cluster) – 要创建的集群定义,可以是 protobuf 或 Python 字典,如果为字典,则必须与 protobuf 消息 Cluster 匹配。

  • api_version (str) – 要使用的 API 版本。

  • deferrable (bool) – 在可延迟模式下运行操作符。

  • poll_interval (int) – 定义检查操作状态的频率的时间间隔大小。

template_fields: collections.abc.Sequence[str][source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

execute_complete(context, event)[source]
class airflow.providers.google.cloud.operators.kubernetes_engine.GKEStartKueueInsideClusterOperator(location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类:GKEOperatorMixin, airflow.providers.cncf.kubernetes.operators.kueue.KubernetesInstallKueueOperator

在集群内部安装特定版本的 Kueue。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:在集群内部安装特定版本的 Kueue

另请参阅

有关 Kueue 的更多详细信息,请参阅参考:https://kueue.kubernetes.ac.cn/docs/overview/

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

enable_tcp_keepalive = True[源代码]
template_fields[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.kubernetes_engine.GKEStartPodOperator(location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, regional=None, on_finish_action=None, is_delete_operator_pod=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), *args, **kwargs)[源代码]

基类:GKEOperatorMixin, airflow.providers.cncf.kubernetes.operators.pod.KubernetesPodOperator

在指定的 Google Kubernetes Engine 集群中的 Kubernetes pod 中执行任务。

此操作符假定系统已安装 gcloud 并已配置具有服务帐户的连接 ID。

要定义要创建的集群,最低要求是变量 task_idproject_idlocationcluster_namenamenamespaceimage

另请参阅

有关 Kubernetes Engine 身份验证的更多详细信息,请参阅参考:https://cloud.google.com/kubernetes-engine/docs/how-to/cluster-access-for-kubectl#internal_ip

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:在 GKE 集群上运行 Pod

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

  • regional (bool | None) – (已弃用)location 参数是区域名称。

  • on_finish_action (str | None) – 当 Pod 达到其最终状态或执行中断时要执行的操作。如果为“delete_pod”,则无论其状态如何,都将删除 Pod;如果为“delete_succeeded_pod”,则仅删除成功的 Pod。您可以设置为“keep_pod”以保留 Pod。当前默认值为 keep_pod,但此值将在该提供程序的下一个主要版本中更改。

  • is_delete_operator_pod (bool | None) – (已弃用)当 Pod 达到其最终状态或执行中断时要执行的操作。如果为 True,则删除 Pod;如果为 False,则保留 Pod。当前默认值为 False,但此值将在该提供程序的下一个主要版本中更改。已弃用 - 请改用 on_finish_action

  • deferrable (bool) – 在可延迟模式下运行操作符。

property is_delete_operator_pod: bool | None[源代码]
property regional: bool | None[源代码]
template_fields: collections.abc.Sequence[str][源代码]
invoke_defer_method(last_log_time=None)[源代码]

重新定义在子类中使用的触发器。

class airflow.providers.google.cloud.operators.kubernetes_engine.GKEStartJobOperator(location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), job_poll_interval=10.0, *args, **kwargs)[source]

基类: GKEOperatorMixin, airflow.providers.cncf.kubernetes.operators.job.KubernetesJobOperator

在指定的 Google Kubernetes Engine 集群中执行 Kubernetes 作业。

此操作符假定系统已安装 gcloud 并已配置具有服务帐户的连接 ID。

要定义要创建的集群,最低要求是变量 task_idproject_idlocationcluster_namenamenamespaceimage

另请参阅

有关 Kubernetes Engine 身份验证的更多详细信息,请参阅参考:https://cloud.google.com/kubernetes-engine/docs/how-to/cluster-access-for-kubectl#internal_ip

另请参阅

有关如何使用此操作符的更多信息,请查看指南: 在 GKE 集群上运行 Job

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

  • deferrable (bool) – 在可延迟模式下运行操作符。

  • poll_interval – (仅限可延迟模式)轮询间隔(以秒为单位),用于检查作业的状态。

template_fields: collections.abc.Sequence[str][source]
execute(context)[source]

执行创建 Job 的过程。

execute_deferrable()[source]
class airflow.providers.google.cloud.operators.kubernetes_engine.GKEDescribeJobOperator(job_name, namespace, location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类:GKEOperatorMixin, airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

检索给定名称的作业信息。

另请参阅

有关如何使用此操作符的更多信息,请查看指南: 按给定名称检索有关 Job 的信息

参数
  • job_name (str) – 要删除的 Job 的名称

  • namespace (str) – Google Kubernetes Engine 命名空间的名称。

  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

template_fields: collections.abc.Sequence[str][source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.kubernetes_engine.GKEListJobsOperator(location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, namespace=None, do_xcom_push=True, *args, **kwargs)[source]

基类:GKEOperatorMixin, airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

检索作业列表。

如果指定了 namespace 参数,将检索专用命名空间中的 Job 列表。如果未指定命名空间,它将输出所有命名空间中的 Job。

另请参阅

有关如何使用此操作符的更多信息,请查看指南: 检索 Job 列表

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

  • namespace (str | None) – Google Kubernetes Engine 命名空间的名称。

  • do_xcom_push (bool) – 如果设置为 True,则 Job 的结果列表将被推送到任务结果。

template_fields: collections.abc.Sequence[str][source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.kubernetes_engine.GKECreateCustomResourceOperator(location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类:GKEOperatorMixin, airflow.providers.cncf.kubernetes.operators.resource.KubernetesCreateResourceOperator

在指定的 Google Kubernetes Engine 集群中创建资源。

此操作符假定系统已安装 gcloud 并已配置具有服务帐户的连接 ID。

另请参阅

有关 Kubernetes Engine 身份验证的更多详细信息,请参阅参考:https://cloud.google.com/kubernetes-engine/docs/how-to/cluster-access-for-kubectl#internal_ip

另请参阅

有关如何使用此操作符的更多信息,请查看指南:在 GKE 集群中创建资源

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

template_fields: collections.abc.Sequence[str][source]
class airflow.providers.google.cloud.operators.kubernetes_engine.GKEDeleteCustomResourceOperator(location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类:GKEOperatorMixin, airflow.providers.cncf.kubernetes.operators.resource.KubernetesDeleteResourceOperator

在指定的 Google Kubernetes Engine 集群中删除资源。

此操作符假定系统已安装 gcloud 并已配置具有服务帐户的连接 ID。

另请参阅

有关 Kubernetes Engine 身份验证的更多详细信息,请参阅参考:https://cloud.google.com/kubernetes-engine/docs/how-to/cluster-access-for-kubectl#internal_ip

另请参阅

有关如何使用此操作符的更多信息,请查看指南:在 GKE 集群中删除资源

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

template_fields: collections.abc.Sequence[str][source]
class airflow.providers.google.cloud.operators.kubernetes_engine.GKEStartKueueJobOperator(location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类:GKEOperatorMixin, airflow.providers.cncf.kubernetes.operators.kueue.KubernetesStartKueueJobOperator

在指定的 Google Kubernetes Engine 集群中的 Kueue 中执行 Kubernetes 作业。

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

template_fields[source]
class airflow.providers.google.cloud.operators.kubernetes_engine.GKEDeleteJobOperator(location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类:GKEOperatorMixin, airflow.providers.cncf.kubernetes.operators.job.KubernetesDeleteJobOperator

在指定的 Google Kubernetes Engine 集群中删除 Kubernetes 作业。

此操作符假定系统已安装 gcloud 并已配置具有服务帐户的连接 ID。

定义要创建的集群所需的最低要求是变量 task_idproject_idlocationcluster_namenamenamespace

另请参阅

有关 Kubernetes Engine 身份验证的更多详细信息,请参阅参考:https://cloud.google.com/kubernetes-engine/docs/how-to/cluster-access-for-kubectl#internal_ip

另请参阅

有关如何使用此操作符的更多信息,请查看指南:删除 GKE 集群上的作业

参数
  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

template_fields: collections.abc.Sequence[str][source]
class airflow.providers.google.cloud.operators.kubernetes_engine.GKESuspendJobOperator(name, namespace, location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类:GKEOperatorMixin, airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

暂停给定名称的作业。

另请参阅

有关如何使用此操作符的更多信息,请查看指南:暂停 GKE 集群上的作业

参数
  • name (str) – 要暂停的作业的名称

  • namespace (str) – Google Kubernetes Engine 命名空间的名称。

  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

template_fields: collections.abc.Sequence[str][源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.kubernetes_engine.GKEResumeJobOperator(name, namespace, location, cluster_name, use_internal_ip=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[源代码]

基类:GKEOperatorMixin, airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

恢复给定名称的作业。

另请参阅

有关如何使用此操作符的更多信息,请查看指南:在 GKE 集群上恢复作业

参数
  • name (str) – 要恢复的作业的名称

  • namespace (str) – Google Kubernetes Engine 命名空间的名称。

  • location (str) – Google Kubernetes Engine 集群所在的区域或地区名称,例如 ‘us-central1-a’。

  • cluster_name (str) – Google Kubernetes Engine 集群的名称。

  • use_internal_ip (bool) – 使用内部 IP 地址作为端点。

  • project_id (str) – Google Developers Console 项目 ID。

  • gcp_conn_id (str) – 要使用的 Google Cloud 连接 ID。这允许用户指定服务帐户。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户,用于使用短期凭据进行模拟,或获取列表中最后一个帐户的 access_token 所需的帐户列表,该帐户将在请求中被模拟。如果设置为字符串,则该帐户必须向发起帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的标识必须将服务帐户令牌创建者 IAM 角色授予直接前面的标识,列表中的第一个帐户将此角色授予发起帐户(已模板化)。

template_fields: collections.abc.Sequence[str][源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

此条目是否有帮助?