airflow.providers.cncf.kubernetes.operators.custom_object_launcher¶

启动自定义对象。

类¶

`SparkJobSpec`	Spark 作业规范。
`KubernetesSpec`	Spark Kubernetes 规范。
`SparkResources`	Spark 资源。
`CustomObjectStatus`	Pod 的状态。
`CustomObjectLauncher`	启动 Pod。

函数¶

should_retry_start_spark_job(exception)

检查异常是否表示瞬时错误并需要重试。

模块内容¶

airflow.providers.cncf.kubernetes.operators.custom_object_launcher.should_retry_start_spark_job(exception)[source]¶

检查异常是否表示瞬时错误并需要重试。

class airflow.providers.cncf.kubernetes.operators.custom_object_launcher.SparkJobSpec(**entries)[source]¶

Spark 作业规范。

validate()[source]¶

update_resources()[source]¶

class airflow.providers.cncf.kubernetes.operators.custom_object_launcher.KubernetesSpec(**entries)[source]¶

Spark Kubernetes 规范。

set_attribute()[source]¶

class airflow.providers.cncf.kubernetes.operators.custom_object_launcher.SparkResources(driver=None, executor=None)[source]¶

Spark 资源。

default[source]¶

driver[source]¶

executor[source]¶

property resources[source]¶: 返回作业资源。

property driver_resources[source]¶: 返回要使用的资源。

property executor_resources[source]¶: 返回要使用的资源。

convert_resources()[source]¶

class airflow.providers.cncf.kubernetes.operators.custom_object_launcher.CustomObjectStatus[source]¶

Pod 的状态。

SUBMITTED = 'SUBMITTED'[source]¶

RUNNING = 'RUNNING'[source]¶

FAILED = 'FAILED'[source]¶

SUCCEEDED = 'SUCCEEDED'[source]¶

class airflow.providers.cncf.kubernetes.operators.custom_object_launcher.CustomObjectLauncher(name, namespace, kube_client, custom_obj_api, template_body=None)[source]¶