用于 DataprocSubmitJobOperator 与 spark 作业的 Airflow DAG 示例。
模块内容
-
tests.system.google.cloud.dataproc.example_dataproc_spark.ENV_ID[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.DAG_ID = 'dataproc_spark'[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.PROJECT_ID[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.CLUSTER_NAME_BASE[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.CLUSTER_NAME_FULL[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.CLUSTER_NAME[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.REGION = 'europe-west1'[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.CLUSTER_CONFIG[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.SPARK_JOB[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.create_cluster[来源]
-
tests.system.google.cloud.dataproc.example_dataproc_spark.test_run[来源]