传感器¶
传感器是一种特殊类型的 运算符,专为执行一项任务而设计 - 等待某事发生。它可以基于时间,也可以等待文件或外部事件,但它们所做的就是等待某事发生,然后成功,以便其下游任务可以运行。
由于传感器主要处于空闲状态,因此它们有两种不同的运行模式,以便您在使用它们时可以更高效
poke
(默认):传感器在其整个运行时占用一个工作程序槽位reschedule
:传感器仅在检查时占用一个工作程序槽位,并在检查之间休眠一段时间
在实例化传感器时,可以直接配置 poke
和 reschedule
模式;通常,它们之间的权衡是延迟。每秒检查一次的内容应处于 poke
模式,而每分钟检查一次的内容应处于 reschedule
模式。
与运算符非常相似,Airflow 有一组可供使用的预构建传感器,既可以在核心 Airflow 中使用,也可以通过我们的提供程序系统使用。
另请参阅