tests.system.google.cloud.dataflow.example_dataflow_java_streaming¶

用于测试 Google Dataflow Beam Pipeline Operator 的 Airflow DAG 示例（流式 Java）。

重要说明

此测试从公共存储桶下载 Java JAR 文件。如果 JAR 文件无法下载或与测试中使用的 Java 版本不兼容。没有针对 Apache Beam Java SDK 的流式管道示例，源代码和构建说明位于 providers/google/tests/system/google/cloud/dataflow/resources/java_streaming_src/。

您可以按照此处的说明打包一个自执行 jar： https://beam.apache.org/documentation/runners/dataflow/

要求

这些操作符需要 gcloud 命令和 Java JRE 才能运行。

属性¶

`ENV_ID`
`PROJECT_ID`
`DAG_ID`
`LOCATION`
`BUCKET_NAME`
`GCS_TMP`
`GCS_OUTPUT`
`RESOURCE_BUCKET`
`JAR_FILE_NAME`
`GCS_JAR_PATH`
`IS_COMPOSER`
`LOCAL_JAR`
`REMOTE_JAR_FILE_PATH`
`OUTPUT_TOPIC_ID`
`INPUT_TOPIC`
`OUTPUT_TOPIC`
`create_bucket`
`test_run`

模块内容¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.ENV_ID[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.PROJECT_ID[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.DAG_ID = 'dataflow_java_streaming'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.LOCATION = 'europe-west3'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.BUCKET_NAME = 'bucket-dataflow_java_streaming-Uninferable'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.GCS_TMP = 'gs://bucket-dataflow_java_streaming-Uninferable/temp'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.GCS_OUTPUT = 'gs://bucket-dataflow_java_streaming-Uninferable/DF_OUT'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.RESOURCE_BUCKET = 'airflow-system-tests-resources'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.JAR_FILE_NAME = 'stream-pubsub-example-bundled-v-0.1.jar'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.GCS_JAR_PATH = 'gs://airflow-system-tests-resources/dataflow/java/stream-pubsub-example-bundled-v-0.1.jar'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.IS_COMPOSER[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.LOCAL_JAR = 'gcs/data/stream-pubsub-example-bundled-v-0.1.jar'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.REMOTE_JAR_FILE_PATH = 'dataflow/java/stream-pubsub-example-bundled-v-0.1.jar'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.OUTPUT_TOPIC_ID = 'tp-Uninferable-out'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.INPUT_TOPIC = 'projects/pubsub-public-data/topics/taxirides-realtime'[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.OUTPUT_TOPIC[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.create_bucket[源代码]¶

tests.system.google.cloud.dataflow.example_dataflow_java_streaming.test_run[源代码]¶