`airflow.providers.apache.spark.operators.spark_sql`¶

模块内容¶

类¶

SparkSqlOperator

执行 Spark SQL 查询。

class airflow.providers.apache.spark.operators.spark_sql.SparkSqlOperator(*, sql, conf=None, conn_id='spark_sql_default', total_executor_cores=None, executor_cores=None, executor_memory=None, keytab=None, principal=None, master=None, name='default-name', num_executors=None, verbose=True, yarn_queue=None, **kwargs)[源代码]¶

基类：airflow.models.BaseOperator

执行 Spark SQL 查询。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：SparkSqlOperator

参数

sql (str) – 要执行的 SQL 查询。（已模板化）
conf (dict[str, Any] | str | None) – 任意 Spark 配置属性
conn_id (str) – connection_id 字符串
total_executor_cores (int | None) – （仅限独立和 Mesos）所有执行器的总核心数（默认值：worker 上所有可用的核心）
executor_cores (int | None) – （仅限独立和 YARN）每个执行器的核心数（默认值：2）
executor_memory (str | None) – 每个执行器的内存（例如 1000M，2G）（默认值：1G）
keytab (str | None) – 包含 keytab 的文件的完整路径
master (str | None) – spark://host:port, mesos://host:port, yarn 或 local （默认值：连接中设置的 host 和 port 或 "yarn"）
name (str) – 作业的名称
num_executors (int | None) – 要启动的执行器数量
verbose (bool) – 是否将 verbose 标志传递给 spark-sql
yarn_queue (str | None) – 要提交到的 YARN 队列（默认值：连接中设置的 queue 值或 "default"）