airflow.providers.apache.hdfs.sensors.web_hdfs

模块内容

类

WebHdfsSensor

等待文件或文件夹在HDFS中出现。

MultipleFilesWebHdfsSensor

等待文件夹中的多个文件在HDFS中出现。
class airflow.providers.apache.hdfs.sensors.web_hdfs.WebHdfsSensor(*, filepath, webhdfs_conn_id='webhdfs_default', **kwargs)[源代码]

基类: airflow.sensors.base.BaseSensorOperator

等待文件或文件夹在HDFS中出现。

template_fields: collections.abc.Sequence[str] = ('filepath',)[源代码]
poke(context)[源代码]

当派生此类时覆盖。

class airflow.providers.apache.hdfs.sensors.web_hdfs.MultipleFilesWebHdfsSensor(*, directory_path, expected_filenames, webhdfs_conn_id='webhdfs_default', **kwargs)[源代码]

基类: airflow.sensors.base.BaseSensorOperator

等待文件夹中的多个文件在HDFS中出现。

template_fields: collections.abc.Sequence[str] = ('directory_path', 'expected_filenames')[源代码]
poke(context)[源代码]

当派生此类时覆盖。

此条目是否有帮助？