airflow.providers.alibaba.cloud.hooks.analyticdb_spark

模块内容

类

AppState

AnalyticDB Spark 应用程序状态。

AnalyticDBSparkHook

用于通过 REST API 连接 AnalyticDB MySQL Spark 的 Hook。
class airflow.providers.alibaba.cloud.hooks.analyticdb_spark.AppState[源代码]

基类：enum.Enum

AnalyticDB Spark 应用程序状态。

参见：https://www.alibabacloud.com/help/en/analyticdb-for-mysql/latest/api-doc-adb-2021-12-01-api-struct -sparkappinfo.

SUBMITTED = 'SUBMITTED'[源代码]
STARTING = 'STARTING'[源代码]
RUNNING = 'RUNNING'[源代码]
FAILING = 'FAILING'[源代码]
FAILED = 'FAILED'[源代码]
KILLING = 'KILLING'[源代码]
KILLED = 'KILLED'[源代码]
SUCCEEDING = 'SUCCEEDING'[源代码]
COMPLETED = 'COMPLETED'[源代码]
FATAL = 'FATAL'[源代码]
UNKNOWN = 'UNKNOWN'[源代码]
class airflow.providers.alibaba.cloud.hooks.analyticdb_spark.AnalyticDBSparkHook(adb_spark_conn_id='adb_spark_default', region=None, *args, **kwargs)[源代码]

基类：airflow.hooks.base.BaseHook, airflow.utils.log.logging_mixin.LoggingMixin

用于通过 REST API 连接 AnalyticDB MySQL Spark 的 Hook。

参数

  • adb_spark_conn_id (str) – 用于 AnalyticDB MySQL Spark 凭证的 Airflow 连接。

  • region (str | None) – 您想要提交 spark 应用程序的 AnalyticDB MySQL 区域。

TERMINAL_STATES[源代码]
conn_name_attr = 'alibabacloud_conn_id'[源代码]
default_conn_name = 'adb_spark_default'[源代码]
conn_type = 'adb_spark'[源代码]
hook_name = 'AnalyticDB Spark'[源代码]
submit_spark_app(cluster_id, rg_name, *args, **kwargs)[源代码]

执行请求以提交 spark 应用程序。

参数

  • cluster_id (str) – AnalyticDB MySQL 3.0 数据湖仓的集群 ID。

  • rg_name (str) – AnalyticDB MySQL 3.0 数据湖仓集群中资源组的名称。

submit_spark_sql(cluster_id, rg_name, *args, **kwargs)[源代码]

执行请求以提交 Spark SQL。

参数

  • cluster_id (str) – AnalyticDB MySQL 3.0 数据湖仓的集群 ID。

  • rg_name (str) – AnalyticDB MySQL 3.0 数据湖仓集群中资源组的名称。

get_spark_state(app_id)[源代码]

获取指定 Spark 应用程序的状态。

参数

app_id (str) – Spark 应用程序的标识符

get_spark_web_ui_address(app_id)[源代码]

获取指定 Spark 应用程序的 Web UI 地址。

参数

app_id (str) – Spark 应用程序的标识符

get_spark_log(app_id)[源代码]

获取指定 Spark 应用程序的日志。

参数

app_id (str) – Spark 应用程序的标识符

kill_spark_app(app_id)[源代码]

终止指定的 Spark 应用程序。

参数

app_id (str) – Spark 应用程序的标识符

static build_submit_app_data(file=None, class_name=None, args=None, conf=None, jars=None, py_files=None, files=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, archives=None, name=None)[源代码]

构建提交应用程序的请求数据。

参数

  • file (str | None) – 包含要执行的应用程序的文件路径。

  • class_name (str | None) – 应用程序 Java/Spark 主类的名称。

  • args (collections.abc.Sequence[str | int | float] | None) – 应用程序命令行参数。

  • conf (dict[Any, Any] | None) – Spark 配置属性。

  • jars (collections.abc.Sequence[str] | None) – 此应用程序中要使用的 JAR 文件。

  • py_files (collections.abc.Sequence[str] | None) – 此应用程序中要使用的 Python 文件。

  • files (collections.abc.Sequence[str] | None) – 此应用程序中要使用的文件。

  • driver_resource_spec (str | None) – Spark 驱动程序的资源规范。

  • executor_resource_spec (str | None) – 每个 Spark 执行程序的资源规范。

  • num_executors (int | str | None) – 为此应用程序启动的执行程序数量。

  • archives (collections.abc.Sequence[str] | None) – 此应用程序中要使用的存档文件。

  • name (str | None) – 此应用程序的名称。

static build_submit_sql_data(sql=None, conf=None, driver_resource_spec=None, executor_resource_spec=None, num_executors=None, name=None)[源代码]

构建提交 Spark SQL 的请求数据。

参数

  • sql (str | None) – 要执行的 SQL 查询。（已模板化）

  • conf (dict[Any, Any] | None) – Spark 配置属性。

  • driver_resource_spec (str | None) – Spark 驱动程序的资源规范。

  • executor_resource_spec (str | None) – 每个 Spark 执行程序的资源规范。

  • num_executors (int | str | None) – 为此应用程序启动的执行程序数量。

  • name (str | None) – 此应用程序的名称。

get_adb_spark_client()[源代码]

获取有效的 AnalyticDB MySQL Spark 客户端。

get_default_region()[源代码]

从连接获取默认区域。

此条目是否有帮助？