Kerberos¶

Airflow 对 Kerberos 有初步支持。这意味着 Airflow 可以为其自身续订 Kerberos 票据并将其存储在票据缓存中。hook 和 dag 可以利用票据对启用 Kerberos 的服务进行认证。

限制¶

请注意，目前并非所有 hook 都已调整以利用此功能。此外，它尚未将 Kerberos 集成到 Web 界面中，您目前必须依靠网络级别的安全措施来确保您的服务保持安全。

Celery 集成尚未尝试和测试。但是，如果您为每个主机生成一个 keytab 并在每个 worker 旁边启动一个票据续订器，则很可能会奏效。

启用 Kerberos¶

Airflow¶

要启用 Kerberos，您需要生成一个（服务）keytab。

# in the kadmin.local or kadmin shell, create the airflow principal
kadmin:  addprinc -randkey airflow/fully.qualified.domain.name@YOUR-REALM.COM

# Create the airflow keytab file that will contain the airflow principal
kadmin:  xst -norandkey -k airflow.keytab airflow/fully.qualified.domain.name

现在将此文件存储在 airflow 用户可以读取的位置 (chmod 600)。然后将以下内容添加到您的 airflow.cfg 文件中。

[core]
security = kerberos

[kerberos]
keytab = /etc/airflow/airflow.keytab
reinit_frequency = 3600
principal = airflow

如果您在基于 Docker 容器的环境中使用 Airflow，您可以在 Dockerfile 中设置以下环境变量，而无需修改 airflow.cfg。

ENV AIRFLOW__CORE__SECURITY kerberos
ENV AIRFLOW__KERBEROS__KEYTAB /etc/airflow/airflow.keytab
ENV AIRFLOW__KERBEROS__INCLUDE_IP False

如果您需要更精细的 Kerberos 票据选项，可以使用以下选项及其默认值

[kerberos]
# Location of your ccache file once kinit has been performed
ccache = /tmp/airflow_krb5_ccache
# principal gets augmented with fqdn
principal = airflow
reinit_frequency = 3600
kinit_path = kinit
keytab = airflow.keytab

# Allow kerberos token to be flag forwardable or not
forwardable = True

# Allow to include or remove local IP from kerberos token.
# This is particularly useful if you use Airflow inside a VM NATted behind host system IP.
include_ip = True

请记住，Kerberos 票据是通过 kinit 生成的，并且默认会使用您的本地 krb5.conf 文件。

通过以下方式启动票据续订器

# run ticket renewer
airflow kerberos

为了支持更高级的 Kerberos 标准或一次性使用部署模型，您可以在运行 airflow kerberos 命令时使用 --one-time 标志来指定模式。

a) 标准 (standard)： airflow kerberos 命令将持续运行。票据续订进程每隔几秒钟持续运行，并在票据过期时刷新它。 b) 一次性 (one-time)： airflow kerberos 将运行一次然后退出。如果失败，主任务将不会启动。

默认模式是标准。

示例用法

对于标准模式

airflow kerberos

对于一次性模式

airflow kerberos --one-time

Hadoop¶

如果想使用模拟，需要在您的 hadoop 配置的 core-site.xml 文件中启用它。

<property>
  <name>hadoop.proxyuser.airflow.groups</name>
  <value>*</value>
</property>

<property>
  <name>hadoop.proxyuser.airflow.users</name>
  <value>*</value>
</property>

<property>
  <name>hadoop.proxyuser.airflow.hosts</name>
  <value>*</value>
</property>

当然，如果您需要加强安全性，请将星号替换为更合适的内容。

使用 Kerberos 认证¶

Hive hook 已更新以利用 Kerberos 认证。为了让您的 dag 使用它，只需更新连接详细信息，例如

{ "use_beeline": true, "principal": "hive/_HOST@EXAMPLE.COM"}

根据您的设置调整 principal。 _HOST 部分将被服务器的完全限定域名替换。

您可以指定是希望使用 DAG 所有者作为连接用户，还是使用连接的登录部分中指定的用户。对于登录用户，请在 extra 中指定以下内容

{ "use_beeline": true, "principal": "hive/_HOST@EXAMPLE.COM", "proxy_user": "login"}

对于 DAG 所有者使用

{ "use_beeline": true, "principal": "hive/_HOST@EXAMPLE.COM", "proxy_user": "owner"}

并在您的 DAG 中，初始化 HiveOperator 时，指定

run_as_owner=True

要使用 Kerberos 认证，您必须安装带有 kerberos 额外软件包组的 Airflow

pip install 'apache-airflow[kerberos]'

您可以在 Kerberos 认证 worker 中阅读有关 Kerberos 部署的一些生产方面的内容。