示例 Airflow DAG，展示如何在 Google Kubernetes Engine 中创建 Dataproc 集群。
必需的环境变量：GKE_NAMESPACE = os.environ.get(“GKE_NAMESPACE”, f”{CLUSTER_NAME}”) 一个 GKE 集群可以支持在不同命名空间中运行的多个 DP 集群。定义一个命名空间或分配一个默认命名空间。注意：VIRTUAL_CLUSTER_CONFIG 中的可选参数 kubernetes_namespace 应该与 GKE_NAMESPACE 相同。
模块内容
-
tests.system.google.cloud.dataproc.example_dataproc_gke.ENV_ID[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.DAG_ID = 'dataproc_gke'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.PROJECT_ID[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.REGION = 'us-central1'[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.CLUSTER_NAME_BASE[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.CLUSTER_NAME_FULL[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.CLUSTER_NAME[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.GKE_CLUSTER_NAME[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.WORKLOAD_POOL[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.GKE_CLUSTER_CONFIG[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.GKE_NAMESPACE[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.VIRTUAL_CLUSTER_CONFIG[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.create_gke_cluster[源代码]
-
tests.system.google.cloud.dataproc.example_dataproc_gke.test_run[源代码]