apache-airflow-providers-apache-spark

apache-airflow-providers-apache-spark 包

Apache Spark

发布版本:5.0.0

提供者包

此包适用于 apache.spark 提供者。此包的所有类都包含在 airflow.providers.apache.spark python 包中。

安装

您可以通过 pip install apache-airflow-providers-apache-spark 将此包安装在现有的 Airflow 2 安装之上。有关支持的最低 Airflow 版本,请参阅下面的 Requirements

要求

此提供者包支持的最低 Apache Airflow 版本为 2.9.0

PIP 包

所需版本

apache-airflow

>=2.9.0

pyspark

>=3.1.3

grpcio-status

>=1.59.0

跨提供者包依赖关系

这些是使用包的所有功能可能需要的依赖关系。您需要安装指定的提供者包才能使用它们。

从 PyPI 安装时,可以安装此类跨提供者依赖关系。 例如

pip install apache-airflow-providers-apache-spark[cncf.kubernetes]

依赖包

额外

apache-airflow-providers-cncf-kubernetes

cncf.kubernetes

apache-airflow-providers-common-compat

common.compat

下载官方软件包

您可以从 官方 Apache 下载站点 下载官方发布的软件包并验证其校验和和签名

此条目是否有帮助?