airflow.providers.apache.hdfs.log.hdfs_task_handler

模块内容

HdfsTaskHandler

用于上传和从 HDFS 读取的日志处理程序。

class airflow.providers.apache.hdfs.log.hdfs_task_handler.HdfsTaskHandler(base_log_folder, hdfs_log_folder, **kwargs)[源代码]

基类: airflow.utils.log.file_task_handler.FileTaskHandler, airflow.utils.log.logging_mixin.LoggingMixin

用于上传和从 HDFS 读取的日志处理程序。

hook()[源代码]

返回 WebHDFSHook。

set_context(ti)[源代码]

向 airflow 任务处理程序提供 task_instance 上下文。

一般来说,返回 None。但是,如果属性 maintain_propagate 已设置为传播,则返回哨兵 MAINTAIN_PROPAGATE。这具有覆盖默认行为的效果,即每当调用 set_context 时将 propagate 设置为 False。在编写本文时,此功能仅在单元测试中使用。

参数
  • ti – 任务实例对象

  • identifier – 如果设置,则将后缀添加到日志文件中。用于从任务或触发器运行之外的上下文向任务日志传递异常消息时使用

close()[源代码]

关闭本地日志文件并将其上传到 HDFS。

此条目有帮助吗?