tests.system.cncf.kubernetes.example_spark_kubernetes¶
这是一个使用 SparkKubernetesOperator 和 SparkKubernetesSensor 的示例 DAG。在此示例中，我们创建两个按顺序执行的任务。第一个任务是在 Kubernetes 集群上提交 sparkApplication（该示例使用 spark-pi 应用程序）。第二个任务是检查第一个状态中提交的 sparkApplication 的最终状态。
需要在 Kubernetes 上预先安装 Spark-on-k8s 运算符 https://github.com/GoogleCloudPlatform/spark-on-k8s-operator