连接和钩子

Airflow 通常用于拉取和推送数据到其他系统,因此它具有一个一流的连接概念,用于存储用于与外部系统通信的凭证。

连接本质上是一组参数(例如用户名、密码和主机名),以及它连接到的系统类型和一个称为conn_id的唯一名称。

它们可以通过 UI 或 CLI 进行管理;请参阅 管理连接 以获取有关创建、编辑和管理连接的更多信息。有可自定义的连接存储和后端选项。

你可以直接从你自己的代码中使用连接,你可以通过挂钩使用它们,或者从 模板 中使用它们。

echo {{ conn.<conn_id>.host }}

挂钩

挂钩是与外部平台的高级接口,它让你可以快速轻松地与它们通信,而无需编写低级代码来访问它们的 API 或使用特殊库。它们通常也是构建操作符的构建块。

它们与连接集成以收集凭据,并且许多连接都有一个默认的 conn_id;例如,PostgresHook 会自动查找 conn_idpostgres_default 的连接,如果你没有传入一个连接。

你可以在我们的 API 文档中查看 Airflow 挂钩的完整列表

自定义连接

Airflow 允许定义自定义连接类型。这是在 提供程序包 中详细描述的内容 - 提供程序使您能够定义自己的连接。连接自定义可以由任何提供程序完成,但社区管理的许多提供程序也定义了自定义连接类型。由 Apache Airflow community managed providers 提供的所有提供程序的完整列表可以在 连接 中找到。

此条目是否有用?